0

私は Scrapy プロジェクトを実行しており、すでにスクレイピングされたデータをローカルに保存するための最良の方法を探しています。現在使用してAnyDBMいますが、しばらく実行した後、次のエラーが発生し続けます。

bsddb.db.DBRunRecoveryError: (-30973, 'DB_RUNRECOVERY: Fatal error, run database recovery -- PANIC: fatal region error detected; run recovery')

私はPythonにかなり慣れていないので、間違っていることがありますが、とにかくAnydbm以外のより良い解決策があるかどうか疑問に思っていました.

私はクロールしたページの数値 ID を保存しており、将来のプロジェクトのために 300 万から 400 万の可能性がある計画で約 500,000 のレコードを保存する予定です。

AnyDBM に固執する必要がありますか、それとも仕事により適したものに変更する必要がありますか。

4

2 に答える 2

1

sqliteすでに Python の標準ライブラリの一部である に適しているように見えます。

于 2013-04-09T09:49:57.270 に答える
1

デフォルトsqlite3では、非常に優れたデータベース システムである python が付属しています。

ここにかなり良いチュートリアルがあります。テーブルをメモリに配置するには、次のようにします。

conn = sqlite3.connect(":memory:")
conn.isolation_level = None
cur = conn.cursor()
于 2013-04-09T09:50:17.687 に答える