大量のデータをツリーのような JSON 構造に収集し、一度にファイルにダンプする Ubuntu ボックスで Python スクリプトを実行しています。大きなツリーの場合、次のメッセージが表示されてクラッシュします。
outs.write(json.dumps(dJSON,encoding='utf-8', ensure_ascii=False, indent=indent_val))
File "/usr/lib/python2.7/codecs.py", line 351, in write
data, consumed = self.encode(object, self.errors)
MemoryError
より多くのメモリを備えたより大きなボックスに移動してみることはできますが、利用できない可能性があります。JSON をチャンクでファイルにダンプするスクリプトを書き直すこともできますが、これには回避しようとしている大幅なコード変更が必要になります。
問題は、より大きな JSON ツリーをファイルにエクスポートできるようにする他の方法はありますか?