私のプログラムは、データを保存するために巨大なオブジェクトを必要とするシミュレーションを実行します。ブロブのサイズは2〜3GBより大きくなります。MBPに十分なメモリがあるはずですが、Python(Mac OSXではPython2.7.3、ポートから)はすべてを使用しているようには見えず、システムは完全にフリーズします。
シミュレーションのステータスを保存するために、私はピクルスを使用しますが、大きすぎるオブジェクトに対しても機能しません。ピクルスがオブジェクトをダンプする前にメモリ内のオブジェクトを複製するようです...
質問:巨大なPythonデータ構造(dict、set、list)を常にメモリに保持せずに処理できる標準ライブラリはありますか?あるいは、Pythonを仮想メモリで強制的に実行する方法はありますか?(私はnumpyにあまり詳しくありませんが、この状況で役立ちますか?)
前もって感謝します!