既存の MongoDB コレクションを新しいデータで更新することは可能ですか? Hadoop ジョブを使用して、書き込みデータを Mongo に読み込んでいます。必要なシナリオは次のとおりです:- Mongo の最初のコレクションが

Mongo からデータを読み取ってデータを処理した後、MongoDB には次のものが含まれている必要があります。

可能であれば、ダミーコードを提供してください。

私は、MongoDBコレクション内のすべてのドキュメントをHadoopで記述されたMapReduceジョブに通すことができるMongoInputFormatで遊んでいます。

提供されている例（this、this、this）でわかるように、マッパーに提供されるドキュメントのタイプはBSONObject（Javaのインターフェイス）です。

今では、MongoDBからの生データをはるかに使いやすいPOJOにマッピングできるMorphiaも非常に気に入っています。

入力としてBSONObjectしか取得できないため、Morphiawikiのこのページの下部に記載されているメソッドを使用することを考えました。

私の問題は、このメソッドがBSONObjectではなくDBObjectを必要とすることです。DBObjectは実際には次のとおりです。

ご覧のとおり、BSONObjectからDBObjectにキャストして、提供されたメソッドを呼び出すことはできません。

これを最善の方法で処理するにはどうすればよいですか？

このチュートリアルhttp://www.mongodb.org/display/DOCS/Hadoop+Quick+Startに従って、 mongodb-hadoop をビルドします。Treasury Yield の例 (私の Hadoop バージョンは 0.20.2 です) をビルドしようとしましたが、MapReduce ジョブを送信すると次のエラーが発生しました。

Treasury Yield の例を実行することができません... 助けていただければ幸いです。

こんにちは、私は Hadoop および NoSQL テクノロジの初心者です。HDFS に格納されたファイルを読み込んで処理することから、world-count プログラムで学習を開始しました。今、MongoDB で Hadoop を使用したいと考えています。ここからプログラムを開始しました。

ここで、mongodb データをローカル ファイル システムに保存し、マップ/リデュースでローカル ファイル システムから HDFS にデータを読み取り、再び mongodb ローカル ファイル システムに書き込むという混乱があります。HBaseを調べたところ、HDFSにデータを保存するように構成でき、hadoopはHDFSで直接処理できます（マップ/リデュース）。HDFS にデータを保存するように mongodb を構成する方法。

高速処理のためにデータを HDFS に保存する方が良い方法だと思います。ローカル ファイル システムにはありません。私は正しいですか？間違った方向に進んでいる場合は、私のコンセプトをクリアしてください。

mongodb-hadoop アダプターを使い始めるために、マニュアルを参照しています

私のシステムで実行されている現在の Hadoop のバージョンは 0.20.2 です。

だから私はbuild.sbtファイルを編集しました

ThisBuild の hadoopRelease := "0.20.2"。

しかし、「sbt package」の次のコマンドを試すと、次のエラーが発生します。

完全なログは

MongoDB Hadoop ストリーミング コネクタを起動したいので、Hadoop の互換バージョン (2.2.0) をダウンロードしました ( https://github.com/mongodb/mongo-hadoop/blob/master/README.md#apache-を参照)。 hadoop-22 )

git リポジトリ mongohadoop のクローンを作成し、build.sbt hadoopRelease を 2.2 に変更しました。

それから私は立ち上げました：

そして、私はこれを取得します:

理由がわかりません。ストリーミングをサポートするはずのほぼすべてのバージョンを試しましたが、常に同じエラーが発生します。

私は正確に Mac OS X を使用しています。ありがとうございます。

この単純なコードを豚のスクリプトで実行しています。

次のエラーが返されます。

ファイル pig_1396614639609.log の終わり:

... org.apache.hadoop.util.RunJar.main(RunJar.java:208) で 原因: java.lang.IllegalArgumentException: URI 形式が無効です。URI はmongodb:// プロトコル文字列で始まる必要があります。com.mongodb.hadoop.pig.MongoInsertStorage.setStoreLocation(MongoInsertStorage.java:159) で org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.getJob(JobControlCompiler.java:576) で

... 17以上

エラーがどこにあるのかわからないので、mongodb プロトコル文字列 "mongodb://" は適切に記述されています。

Hadoop のハイブ テーブルを使用して mongoDB にクエリを実行するために、MongoDB Hadoop コネクタを使用しています。

私は実行することができます

しかし、次のクエリを実行しようとすると

次の例外をスローします。

以下のクラスは hive lib フォルダーに存在します。

例外スタック トレース:

ご意見をお聞かせください。