そのため、現在、c# で大きなファイルを処理するための最善の方法を研究しようとしています。現在、1,000 万行以上のデータを含む大きなファイルがあります。もともと、私のクライアントは、ファイルには数万行が含まれていると言っていたので、以前に各行を新しいファイルに書き込んで、処理のためにインターフェイス エンジンで取得しました。しかし現在、これらのファイルが予想よりもはるかに大きくなり、処理に週末がかかっています。私はロジックを最適化しようとしており、最適な方法を研究しています。複数のスレッドが 1 つのファイルから読み取れるようにすることを検討しましたが、ディスク I/O の機械的なボトルネックにより、改善の余地があまりありません。次の方法は、各行を読み取り、各行 (または行のグループ) を別のスレッドで処理することです。これにより、各行の処理を同時に実行できるため、ある程度の最適化が得られます。一部の人々は、非常に大きなファイルの処理に豊富な経験を持っていることを知っており、私のアプローチについてフィードバックを得るか、この問題に取り組む別の方法を見つけたいと考えていました。
ご意見やご感想をお待ちしております。