3

あなたの投稿を利用しようとしています： https ：//gist.github.com/2884606

次のコマンドを実行しようとしています。

hadoop jar mongo-hadoop-streaming-assembly * .jar -mapper mapper.rb -reducer reducer.rb -inputURI mongodb：//127.0.0.1/twitter.in -outputURI mongodb：//127.0.0.1/twitter.out

次のエラーが発生します：スレッド「main」の例外java.lang.ClassNotFoundException：com.mongodb.hadoop.streaming.MongoStreamJob

jar mongo-hadoop-streaming-assembly * .jarをコンパイルしましたが、上記のクラスが含まれていません。

-libjarを使用してクラスのアーカイブを含めようとしましたが、hadoopがそれを認識していません。

また、上記を含めるためにCLASS_PATHをエクスポートしようとしました。

以下を使用してHadoopストリーミングを構築し ますhttps://github.com/mongodb/mongo-hadoop/tree/master/streaming

./sbt mongo-hadoop-streaming / assembly

4

1 に答える 1

3

ApacheHadoop1.0.3はストリーミングをサポートしていません。1.0.xは実際にはApacheHadoop2.0（！）になる現在の開発ブランチ（0.23）よりも古いバージョン（0.20）に基づいているため、ApacheHadoopのバージョン管理スキームはかなり混乱しています。

サポートされているHadoopのバージョンと制限の詳細については、「アダプターの構築：ストリーミングサポート」を参照してください。

開始するのが簡単なHadoopバージョンはClouderaリリース3で、パッケージのダウンロードとビルド済みのVMが利用可能です。

于 2012-08-08T06:34:10.393 に答える