c++ - 大きなCSVファイルを読むための効果的な方法は?

Question

現在、各ファイルに約 45,000 レコードの 5 つの CSV ファイルがあります。これについて最善の方法は何ですか？以前に I/O を行ったことはありますが、この規模で行ったことはありません。ベクトル文字列に解析しますか?

Answer 1

はい、それらを読み込んでくださいvector。

ストレージの選択は、何を計画しているか、およびデータが何であるかによって少し異なります。データの形式がわかっている場合は、 を作成しstruct、データをより整理された形式に読み込むことができます。たとえば、ファイルが次のような場合:

name, score, err

Mats, 89, 2.1%
Steve, 79, 8%

次に、次のような構造を持つことができます。

struct Row
{
   string name;
   int    score;
   float  err;
}

コメントが言うように、45K 行はそれほど多くなく、腕時計の計算能力を備えたもので実行しない限り、大きな問題を引き起こすことはありません。

Answer 2

やっていることを続けてください: すべての行をVectorof string、ofのVectora 、またはof オブジェクトに読み込みます。私たちは 200 から 500 MB の RAM について話していますが、最近ではほとんどのコンピュータがそれよりもはるかに多くの RAM を利用できます。処理時間の観点からは、平均的なコンピューターで 5 ～ 10 分かかります (もちろん、処理量にもよります)。VectorstringVector

何か問題が発生した場合は、より詳しい情報を添えて新しい質問をしてください。