私は Scrapy プロジェクトを実行しており、すでにスクレイピングされたデータをローカルに保存するための最良の方法を探しています。現在使用してAnyDBM
いますが、しばらく実行した後、次のエラーが発生し続けます。
bsddb.db.DBRunRecoveryError: (-30973, 'DB_RUNRECOVERY: Fatal error, run database recovery -- PANIC: fatal region error detected; run recovery')
私はPythonにかなり慣れていないので、間違っていることがありますが、とにかくAnydbm以外のより良い解決策があるかどうか疑問に思っていました.
私はクロールしたページの数値 ID を保存しており、将来のプロジェクトのために 300 万から 400 万の可能性がある計画で約 500,000 のレコードを保存する予定です。
AnyDBM に固執する必要がありますか、それとも仕事により適したものに変更する必要がありますか。