既存の MongoDB コレクションを新しいデータで更新することは可能ですか? Hadoop ジョブを使用して、書き込みデータを Mongo に読み込んでいます。必要なシナリオは次のとおりです:- Mongo の最初のコレクションが

Mongo からデータを読み取ってデータを処理した後、MongoDB には次のものが含まれている必要があります。

可能であれば、ダミーコードを提供してください。

私は、MongoDBコレクション内のすべてのドキュメントをHadoopで記述されたMapReduceジョブに通すことができるMongoInputFormatで遊んでいます。

提供されている例（this、this、this）でわかるように、マッパーに提供されるドキュメントのタイプはBSONObject（Javaのインターフェイス）です。

今では、MongoDBからの生データをはるかに使いやすいPOJOにマッピングできるMorphiaも非常に気に入っています。

入力としてBSONObjectしか取得できないため、Morphiawikiのこのページの下部に記載されているメソッドを使用することを考えました。

私の問題は、このメソッドがBSONObjectではなくDBObjectを必要とすることです。DBObjectは実際には次のとおりです。

ご覧のとおり、BSONObjectからDBObjectにキャストして、提供されたメソッドを呼び出すことはできません。

これを最善の方法で処理するにはどうすればよいですか？

このチュートリアルhttp://www.mongodb.org/display/DOCS/Hadoop+Quick+Startに従って、 mongodb-hadoop をビルドします。Treasury Yield の例 (私の Hadoop バージョンは 0.20.2 です) をビルドしようとしましたが、MapReduce ジョブを送信すると次のエラーが発生しました。

Treasury Yield の例を実行することができません... 助けていただければ幸いです。

こんにちは、私は Hadoop および NoSQL テクノロジの初心者です。HDFS に格納されたファイルを読み込んで処理することから、world-count プログラムで学習を開始しました。今、MongoDB で Hadoop を使用したいと考えています。ここからプログラムを開始しました。

ここで、mongodb データをローカル ファイル システムに保存し、マップ/リデュースでローカル ファイル システムから HDFS にデータを読み取り、再び mongodb ローカル ファイル システムに書き込むという混乱があります。HBaseを調べたところ、HDFSにデータを保存するように構成でき、hadoopはHDFSで直接処理できます（マップ/リデュース）。HDFS にデータを保存するように mongodb を構成する方法。

高速処理のためにデータを HDFS に保存する方が良い方法だと思います。ローカル ファイル システムにはありません。私は正しいですか？間違った方向に進んでいる場合は、私のコンセプトをクリアしてください。

mongodb-hadoop アダプターを使い始めるために、マニュアルを参照しています

私のシステムで実行されている現在の Hadoop のバージョンは 0.20.2 です。

だから私はbuild.sbtファイルを編集しました

ThisBuild の hadoopRelease := "0.20.2"。

しかし、「sbt package」の次のコマンドを試すと、次のエラーが発生します。

完全なログは

MongoDB Hadoop ストリーミング コネクタを起動したいので、Hadoop の互換バージョン (2.2.0) をダウンロードしました ( https://github.com/mongodb/mongo-hadoop/blob/master/README.md#apache-を参照)。 hadoop-22 )

git リポジトリ mongohadoop のクローンを作成し、build.sbt hadoopRelease を 2.2 に変更しました。

それから私は立ち上げました：

そして、私はこれを取得します:

理由がわかりません。ストリーミングをサポートするはずのほぼすべてのバージョンを試しましたが、常に同じエラーが発生します。

私は正確に Mac OS X を使用しています。ありがとうございます。

この単純なコードを豚のスクリプトで実行しています。

次のエラーが返されます。

ファイル pig_1396614639609.log の終わり:

... org.apache.hadoop.util.RunJar.main(RunJar.java:208) で 原因: java.lang.IllegalArgumentException: URI 形式が無効です。URI はmongodb:// プロトコル文字列で始まる必要があります。com.mongodb.hadoop.pig.MongoInsertStorage.setStoreLocation(MongoInsertStorage.java:159) で org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.getJob(JobControlCompiler.java:576) で

... 17以上

エラーがどこにあるのかわからないので、mongodb プロトコル文字列 "mongodb://" は適切に記述されています。

Hadoop のハイブ テーブルを使用して mongoDB にクエリを実行するために、MongoDB Hadoop コネクタを使用しています。

私は実行することができます

しかし、次のクエリを実行しようとすると

次の例外をスローします。

以下のクラスは hive lib フォルダーに存在します。

例外スタック トレース:

ご意見をお聞かせください。

mongoDB hadoop コネクタを使用して基本的な Spark の例を実行しようとしています。Hadoop バージョン2.6.0を使用しています。mongo-hadoop のバージョン1.3.1を使用しています。この Hadoop バージョンの jar を正確にどこに配置すればよいかわかりません。私が試した場所は次のとおりです。

• $HADOOP_HOME/libexec/share/hadoop/mapreduce
• $HADOOP_HOME/libexec/share/hadoop/mapreduce/lib
• $HADOOP_HOME/libexec/share/hadoop/hdfs
• $HADOOP_HOME/libexec/share/hadoop/hdfs/lib

コレクションを Hadoop にロードするために使用しているコードのスニペットを次に示します。

jar がどこに配置されていても、次のエラーが発生します。

Hadoop ログに他のエラーは表示されません。構成に何かが欠けているか、Hadoop 2.6.0 がこのコネクタと互換性がないのではないかと思います。どんな助けでも大歓迎です。

だから私はこの例を実行しようとしています https://github.com/plaa/mongo-spark/blob/master/src/main/scala/ScalaWordCount.scala

しかし、私はこのエラーが発生し続けます

クラスを見つけるのに苦労している理由がわかりません。私はmavenでプロジェクトを構築しましたが、うまく構築されているようです。

これは私がそれを実行するために使用しているコマンドです。ホームディレクトリ内で作業しています。前もって感謝します。

このチュートリアルhttps://github.com/crcsmnky/mongodb-spark-demoを使用して、Apache Sparkでmongodbをセットアップしました

PS iveは、新しいrealeseで修正されるクラスパスにバグがあることについてオンラインでいくつかのことを読みました...