ドキュメントには、sys.getsizeof() の出力はバイト単位であると記載されています。クラス インスタンスとリストの辞書であるデータ構造を格納しようとしています。このクラス インスタンスのディクショナリで sys.getsizeof() を実行したところ、3352 バイトでした。後でロードできるように dill を使用してシリアル化していますが、非常に長い時間がかかります。
ファイル サイズはすでに 260 MB であり、sys.getsizeof() で指定された 3352 バイトよりもはるかに大きくなっています。値が異なる理由と、保存に時間がかかる理由を知っている人はいますか?
4GB メモリの Mac Air で実行しているときに、このようなオブジェクトを保存するより効率的な方法はありますか?
それは信じられないほどのツールです。メモリ不足の問題を解決するために微調整できるパラメーターがあるかどうかはわかりません。pickle には protocol=2 があることは知っていますが、ディルだけでなく環境も保存していないようです。
sys.getsizeof(D_storage_Data) #Output is 3352
dill.dump(D_storage_Data,open("storage.obj","wb"))