大きなデータ フレームを扱っていて、RAM の制限に達しました。この時点で、おそらくディスク上のシリアル化されたバージョンで作業する必要があります。メモリ不足操作をサポートするパッケージがいくつかありますが、どれが私のニーズに合っているかわかりません。すべてをデータ フレームに保持したいので、ffパッケージは有望に見えますが、回避できない互換性の問題がまだ残っています。
データがメモリ不足の規模に達したことに気付いたときに、最初に使用するツールは何ですか?
7729 次
3 に答える
28
あなたはおそらくこれらのパッケージを見たいと思うでしょう:
- 「フラットファイル」ストレージと非常に効率的な検索のためのff (data.frames を実行できます; 異なるデータ型)
- R メモリが不足しているが RAM (またはファイルバックアップ) で使用するためのbigmemory (行列のみを実行できます; 同じデータ型)
lm()とスタイルのモデルに適合するメモリ不足モデルのbiglmglm()。
また、ハイパフォーマンス コンピューティングタスク ビューも参照してください。
于 2009-12-09T18:28:44.090 に答える
1
disk.frameは、これらのタイプのタスクに適していると言えます。私はパッケージの主な作成者です。
簡単に処理できるデータ型を制限するffおよびとは異なり、 を「模倣」して、データを操作するための動詞を提供しようとします。bigmemorydata.framedplyr
于 2018-11-01T22:30:21.440 に答える