問題タブ [mongoimport]

JSON配列を含む約20,000個のファイルがあります。これらすべてのファイルをローカルでホストされているMongoDBにダンプしたいと思います。私はこの目的のためにmongoimportを使用しています。

プロセスをスピードアップする方法はありますか？

これらの20,000ファイルには、約1,200万件のレコードが含まれています。

mongoexportを使用してoplogのcsvをエクスポートしようとしています...これまでに読んだすべての引用符の組み合わせを試しました...

しかし、私は取得し続けます

何が間違っている可能性がありますか？

たくさんねじ込んだ後、私はこれを試しました

これは魅力のように機能します。しかし、それでもこれ

動作しません。出力

Timestamp（）に何か問題があると感じますか？

そのため、SQLからMongoへのデータ移行に問題があります。SQLデータベースを取得し、次のような基本的な配列構造を持つ単一のデータ配列にフラット化しました。

非常にシンプルで、非常に簡単です。配列形式になったら、次のようにmongoインスタンスにインポートしました。

繰り返しますが、非常に簡単です。非常に簡単です。一見すると、すべてが期待どおりに機能しているように見えました。しかし、詳しく調べてみると、アセットコレクション内のすべてのレコードのMongoIdにはダッシュがないことがわかりました。つまり、すべてのmongoIDは次の形式になっています。

予想される形式の代わりに：

MongoIdに依存するクエリを除いて、すべてが機能します。したがって、たとえば、これは機能します。

しかし、これはしません：

私はドキュメンテーションとグーリングを注いでいますが、何も見つかりません。誰かが私を正しい方向に向けて、このファイルをインポートして正しいMongoId形式にするのを手伝ってくれるなら、本当に感謝しています！

I am trying to import data to my mongodb sevrer that is hosted on the cloud.

I run the following command from a linux server that is inside a corporate firewall:

mongoimport --host myhost:10081 --db mydb -u myusr -p mypass --collection imptest --file test.dat --drop --stopOnError

The import starts running, connects to the remote mongod successfully, creates one record of data (checked my db) and then simply hangs forever with no error message.

I am quite sure that this happens due to some firewall settings which block communications back from the mongo server - when I do the same thing from outside the firewall it works perfectly. Can I make mongoimport work with more optimistic WriteConcern, and not wait for acks? Or better yet, how can I find out which port being blocked is causing me the trouble?

csvタイプでmongoimportを実行していますが、コメント行を無視するオプションが見つかりませんでした。私のcsvには、開始文字として「＃」が付いている行にコメントが付けられています。基本的に、私はnode.jsアプリを介してMongoDBを呼び出しています。これらを無視する方法はありませんか？誰かがオプションがあるかどうか提案できますか？

MongoDB で非常に単純なインポート操作を行うことに行き詰まっています。サイズが 200MB の JSON 形式のファイルがあります。そのフィード ダンプ、フォーマット:{"some-headers":"", "dump":[{"item-id":"item-1"},{"item-id":"item-2"},...]} この json フィードには、中国語、日本語、文字など、英語以外の言語の単語も含まれていますmongoimport --db testdb --collection testcollection --file dump.json。dump4MB の列値の制限により、エラーが発生します。私はさらにpythonスクリプトを試しました：

おそらく私が使用しようとしているリソースが非常に限られているため、このことを実行している間にPythonが強制終了されます。50MB の新しい json ダンプを取得することでファイルサイズを縮小しましたが、ASCII の問題により、python が再び私を悩ませています。mongoimport上記のpythonスクリプトを使用する方法と使用する方法の両方のオプションを探しています。さらなる解決策も大歓迎です。

また、いつかjsonダンプ〜GBに到達する可能性があるため、検討すべき他の解決策がある場合は、強調表示してください。

約 2000 レコードで構成される JSON ファイルがあります。mongo データベース内のドキュメントに対応する各レコードは、次のようにフォーマットされます。

各レコードは JSON ファイルの 1 行にあり、改行はすべてのレコードの最後にあります。したがって、ドキュメントの各行は「{jobID:」で始まります...次のコマンドを使用して、これらをmongoデータベースにインポートしようとしています:

ただし、次のエラーが表示されます。

何が問題なのかわかりません。誰かが解決策を推奨できますか?

node.js アプリを介して csv タイプで mongoimport を実行しています。localhost では、結果は非常に良好です。nodejs コードベースと mongodb をサーバー環境 (両方とも同じサーバー内) に移動したとき、結果は以下のように満足のいくものではありません。これは対処できないネットワーク遅延の問題ですか、それとも何か不足していますか?

だから私はこのように見える、複数のレコードを持つjsonファイルを持っています...

各レコードは 1 行にあります。したがって、json ファイルの一般的な形式は次のとおりです。

次のコマンドを使用して、mongoimport を使用してこれらをデータベースにインポートしようとしています。

各レコードはそれ自体の行にある必要があることを読みました。ただし、ファイルをインポートすると、単一のドキュメント (別名レコード) としてインポートされます。このファイルを 1 つの巨大なドキュメントではなく、複数のレコードを含むものとして mongo に解釈させるにはどうすればよいですか? ご協力いただきありがとうございます！！！