問題タブ [mongoimport]

連絡先情報を含むCSVをインポートしようとしています：

これを実行しても、データベースにドキュメントが追加されていないようです。

Traceによるとimported 1 objects、Mongoシェルを起動して実行db.things.find()しても、新しいドキュメントは表示されません。

私は何が欠けていますか？

PostgreSQLデータベースに多数のGBのデータが保存されており、それらをMongoDBにインポートする必要があります。これは、CSVエクスポートとmongoimportを使用して行いました。

そのCSVにはこの「2011-06-25」のような列があり、MongoDateではなく文字列としてインポートされているため、日付で効果的に検索できません。

私はこれを見つけました：http ：//www.mongodb.org/display/DOCS/Import+Export+Tools#ImportExportTools-Example%3AImportingInterestingTypes ですが、例では、ファイルにJSON構造を使用する必要があります。PostgreSQLからJSONファイルをエクスポートする必要が本当にありますか？

私がそうするなら-どうやって？

そうでない場合、CSVで「MongoDate」をエクスポートするにはどうすればよいですか？

次のような構造のmongoドキュメントがあります。次{ "foo": { "bar1": "val1", "bar2": "val2"} } を使用してcsvからデータをインポートしたいmongoimport --type csv --headerline [...]

ネストされた構造に対応するためにcsvのフィールド名をフォーマットする方法がわかりません。例えば：

test.csv：

{ "_id" : ObjectId("4e9d9d25c5d8708e1f51cdbc"), "foo.bar1" : "example" } 目的の出力の代わりに戻ります：

フィールド名は、その値に関係なく文字列として解釈されるようです。のようなものfoo[bar1]もfoo: {bar1}逐語的に使用されます。

Rails 3.1 アプリは、MongoDB と mongoid を使用してローカルで正常に実行されています (何も変更しない限り)。

本番DBが必要なので、適切にダンプしました。ここで、この新しくダンプされたデータベースに接続または使用するように Rails アプリを構成する必要があります。

すべての Mongodb の BSON ファイルを、ローカルの Mongo (「mongod」コマンドで起動) が(/data) を探すフォルダーにコピーしました。1 つのフォルダー (/data/e) 内のすべてのファイル。

MongoDB または Rails または mongoid.yml を構成して、そこに移動したそのフォルダーを具体的に使用するにはどうすればよいですか?

+++

追加情報: mongodump が正常に作成されました。おそらくmongoimportを使用して、テストサーバーにインポートする必要があります。どうやってするか？

MongoDBを正常にダンプしました：

テストサーバーにインポートまたはエクスポートする必要があり、苦労しています。理解するのを手伝ってください。

私はいくつかの方法を試しました：

このエラーが発生します：

このエラーが発生します：

使用するコレクションを指定するにはどうすればよいですか？-dには何を使用すればよいですか？アップロードしたいもの、またはテストとして使用したいものはありますか？コレクションだけでなく、完全なDBをインポートしたいと思います。

約625,000個のオブジェクトのコレクションがあります。

毎晩cronを介して、このデータの更新されたファイル（tsv）をデータプロバイダーから取得し、それらをmongodbに再インポートする必要があります。

データを消費しているウェブサイト/サービスとそのユーザーを中断することなくこれを行うための最良の方法は何ですか？mongoimport --upsertをコレクションに直接追加するのが最善の方法ですか？とても遅いです。

コレクションのコピーを含む他の方法を考える必要がありますか？

アラート監視アプリケーションにmongo dbを使用します。

最初にデータをファイルに書き込み、次に mongoimport ユーティリティを使用して mongodb に書き込むことを考えました。各ファイルには、平均で 1Mill のレコードがあります。

ここで私の質問は、「ここでシャーディングしませんか...?」です。

mongoimport はシャーディングを認識していないと思います。mongoimport によって書き込みが行われている場合、シャーディングはどのように機能しますか?

HDFS に一連のファイルがあります。これらのファイルを HDFS からハードディスクにコピーせずに (mongoimport を使用して) mongoDB に直接ロードできますか?

名前、緯度、経度の 3 つのフィールドを持つ CSV があります。の行は次のようになります。

緯度と経度をlocフィールドにmongoimportする正しい方法は何ですか? 場所のインデックス付きフィールドは経度、緯度である必要があり、緯度と経度の2つの個別のフィールドではなく単一の配列である必要があることを理解していますが、mongoimportを介して個別の値から配列への移動を処理する方法がある場合、私は行方不明です

代わりに、経度と緯度を含む単一の列 loc を持つ CSV に最初に変換する必要がありますか?

緯度と経度が独立した列に保存されている CSV を頻繁に扱うことになるので、mongoimport でこれを行う方法を見つけたいと思っています。

次のコマンドを使用して、大きな約をインポートしています。50Gb、mongo のファイル。次のコマンドを使用しています。

数時間後、行が正常にインポートされたと表示されますが、データベースにアクセスしてチェックインしても表示されません。ただし、はるかに小さいサイズのファイルで同じコマンドを使用すると、正常に機能します。

誰かが同様の問題に直面し、それを機能させた場合は、親切にお知らせください。