2

私のPythonプロジェクトには、外部から提供されたデータベースが含まれています。約10万行のテキストファイルです。

このファイルは毎日更新されます。

それをSQLデータベースにロードして、diff毎日処理する必要がありますか？または、このテキストファイルを「クエリ」する効果的な方法はありますか？

追加情報：

  • 各「エントリ」または行には、3つのフィールドが含まれています。いずれもインデックスとして使用できます。
  • 更新はデータベース全体の形式です-手動で差分を生成する必要があります
  • クエリは、レコードを検索してテキストを表示するだけです。
  • データベースのクエリは、アプリケーションの基本的なタスクになります。
4

2 に答える 2

1

データはどのくらいの頻度でクエリされますか? 極端な例として、1 日に 1 回の場合は、データベースやインデックスを維持するよりも効率的に順次検索を使用できます。

より多くのクエリと毎日の更新については、より効率的なクエリのために独自のインデックスを作成して維持できます。ほとんどの場合、より単純で保守しやすいコードと引き換えに、SQL データベース (または必要に応じて他のデータベース) を使用する速度の犠牲は、(もしあれば) ごくわずかです。

于 2013-02-10T08:04:50.273 に答える
0

私が以前に行ったことは、データベース抽出から作成されたtxtファイルからSQLiteデータベースを作成することです。1日につき1つのSQLiteデータベースです。

SQLiteデータベース全体でクエリを実行して、値などを確認し、データの追加テーブルを作成できます。

異なる行を簡単に識別できるように、テキスト行のSHA1であるデータの列を追加しました。

それは私の状況で機能し、うまくいけば、あなたのためのアイデアのどんぐりの最も素朴な匂いを形成するかもしれません。

于 2013-02-10T11:45:19.903 に答える