1

HTML ファイルを解析する必要があり、最大 500,000 リンクになる可能性があります。そのうち400 000は私が望んでいます。

新しいリストの条件を満たすすべてのリンクを配置し、次にこのリストの要素をデータベースに配置する必要があります。

または、データベース（sqlite）に追加する（そしてコミットする）条件を満たすリンクを見つけたとき。コミットの数が多いことは問題ではありませんか?

停電などでデータを失いたくない。それが、データベースへの挿入後にコミットしたい理由です。

データベースに多数の項目を配置する最善の方法は?

4

3 に答える 3

4

1000レコードごとにコミットすることを検討してください

于 2012-04-27T06:33:13.337 に答える
1

これらの多くのリンクが複数のファイルにまたがっている場合、各ファイルを処理した後のコミットはどうでしょうか? 次に、処理したファイルを思い出すこともできます。

単一のファイルの場合、クリーンな継続のために各コミット後にファイル オフセットを記録します。

于 2012-04-27T06:42:45.957 に答える
0

mongo のような noSQL データベースを使用してみることができます。mongo を使用して、それぞれに 6 つのフィールドを持つ 500.000 のドキュメントを追加し、約 15 秒 (私の古いラップトップでは)、難しくないクエリでは約 0.023 秒かかりました。

于 2012-04-27T07:42:00.467 に答える