MongoDB で非常に単純なインポート操作を行うことに行き詰まっています。サイズが 200MB の JSON 形式のファイルがあります。そのフィード ダンプ、フォーマット:{"some-headers":"", "dump":[{"item-id":"item-1"},{"item-id":"item-2"},...]}
この json フィードには、中国語、日本語、文字など、英語以外の言語の単語も含まれていますmongoimport --db testdb --collection testcollection --file dump.json。dump4MB の列値の制限により、エラーが発生します。私はさらにpythonスクリプトを試しました：
import simplejson
import pymongo
conn = pymongo.Connection("localhost",27017)
db = conn.testdb
c = db.testcollection
o = open("dump.json")
s = simplejson.load(o)
for x in s['dump']:
c.insert(x)
o.close()
おそらく私が使用しようとしているリソースが非常に限られているため、このことを実行している間にPythonが強制終了されます。50MB の新しい json ダンプを取得することでファイルサイズを縮小しましたが、ASCII の問題により、python が再び私を悩ませています。mongoimport上記のpythonスクリプトを使用する方法と使用する方法の両方のオプションを探しています。さらなる解決策も大歓迎です。
また、いつかjsonダンプ〜GBに到達する可能性があるため、検討すべき他の解決策がある場合は、強調表示してください。