r - 大きなファイルを R に読み込む

Question

私はRの初心者ですが、「大きな」ファイルで詰まることに気づきました。200MB のデータ ファイルを読み込もうとしています。csv 形式で試し、タブ区切りの txt に変換しましたが、どちらの場合も、ファイルが読み込まれる前に 4GB の RAM を使い果たしました。

R が 200MB のファイルをロードするために 4GB またはメモリを使用するのは正常ですか、それともファイルに何か問題があり、R がデータに加えて何もないものを読み続けている可能性がありますか?

Answer 1

から?read.table

Less memory will be used if colClasses is specified as one of the six atomic vector classes.

...

Using nrows, even as a mild over-estimate, will help memory usage.

これらの引数の両方を使用します。

numeric数値データを正しく指定していることを確認してください。ここを参照してください: read.csv で colClasses を指定する

また、nrows を過小評価しないでください。

64 ビット R を実行している場合は、32 ビット バージョンを試すことができます。同じデータを保持するために使用するメモリが少なくなります。

こちらもご覧ください：Rのメモリサイズ制限を拡張する