c# - ファイル サイズが 4TB を超える .csv ファイルからテキストを検索する

Question

ファイル サイズが 4 TB を超える .csv ファイルがあり、ファイル内のすべてのレコードは列 FirstName で並べ替えられています。ここで、「test」という名前を検索したいと思います。検索のための最良のアプローチは何ですか?

Answer 1

低速ではありますが単純な検索が必要な場合は、System.Io.FileといくつかのLinQで十分な場合があります。

System.IO.File.ReadLines("yourfile.csv").Where( s => s.StartsWith("test") );

foreachループを自分で実行することでこれを改善できるため、最初の発生後に中断できます。もっと洗練されたものについては、データベースを使用することをお勧めします。4TBは、可変データ長のファイルに保存する必要があるものではありません。コードでこれを効率的に実行したい場合は、データベースの半分を自分で作成することになります。