7

Pythonで提供されている「dump」コマンドを使用して、辞書をピクル形式にダンプしようとしています。ディクショナリのファイル サイズは約 150 MB ですが、115 MB のファイルしかダンプされない場合に例外が発生します。例外は次のとおりです。

Traceback (most recent call last): 
  File "C:\Python27\generate_traffic_pattern.py", line 32, in <module> 
    b.dump_data(way_id_data,'way_id_data.pickle') 
  File "C:\Python27\class_dump_load_data.py", line 8, in dump_data 
    pickle.dump(data,saved_file) 
  File "C:\Python27\lib\pickle.py", line 1370, in dump 
    Pickler(file, protocol).dump(obj) 
  File "C:\Python27\lib\pickle.py", line 224, in dump 
    self.save(obj) 
  File "C:\Python27\lib\pickle.py", line 286, in save 
    f(self, obj) # Call unbound method with explicit self 
  File "C:\Python27\lib\pickle.py", line 649, in save_dict 
    self._batch_setitems(obj.iteritems()) 
  File "C:\Python27\lib\pickle.py", line 663, in _batch_setitems 
    save(v) 
  File "C:\Python27\lib\pickle.py", line 286, in save 
    f(self, obj) # Call unbound method with explicit self 
  File "C:\Python27\lib\pickle.py", line 600, in save_list 
    self._batch_appends(iter(obj)) 
  File "C:\Python27\lib\pickle.py", line 615, in _batch_appends 
    save(x) 
  File "C:\Python27\lib\pickle.py", line 286, in save 
    f(self, obj) # Call unbound method with explicit self 
  File "C:\Python27\lib\pickle.py", line 599, in save_list 
    self.memoize(obj) 
  File "C:\Python27\lib\pickle.py", line 247, in memoize 
    self.memo[id(obj)] = memo_len, obj 
MemoryError

以前は同じコードが正常に機能していたので、本当に混乱しています。

4

2 に答える 2

3

その 1 つのオブジェクトだけをダンプしていて、それだけですか?

dump を何度も呼び出している場合、dumpPickler.clear_memo()間で呼び出すと、内部に保存されている後方参照がフラッシュされます (「リーク」が発生します)。そして、あなたのコードはうまくいくはずです...

于 2013-08-27T09:01:32.027 に答える
3

これを試しましたか？

import cPickle as pickle
p = pickle.Pickler(open("temp.p","wb")) 
p.fast = True 
p.dump(d) # d is your dictionary
于 2013-12-11T09:30:28.837 に答える