問題タブ [mrunit]

Hadoop をセットアップせずに、Windows で Hadoop Mapreduce 単体テストを実行する方法があるかどうかを調べています。MRUnit は Java Maven プロジェクトとして Eclipse の Windows (cygwin なし) で実行されますか?

ありがとう Srivatsan Nallazhagappan

Hadoop/Hive/Cygwin をセットアップせずに、Windows で Hive 単体テスト (つまり、Hive クエリの単体テスト) を実行する方法があるかどうかを調べています。これらのオープン ソース ツール (Hive_runner、HiveTest) に出会い、Eclipse で maven プロジェクトとして hiverunner を実行しようとしましたが、その JUnit テストは次の警告とエラーで失敗しました

警告: お使いのプラットフォーム用のネイティブ Hadoop ライブラリをロードできません....必要に応じて組み込みの Java クラスを使用してください。エラー: パスの許可を設定できませんでした? 0700 まで

ありがとう Srivatsan Nallazhagappan

私はMRUnitで遊んでいて、単語数と単体テストのチュートリアルに従って、hadoopの単語数の例で実行してみました

ファンではありませんが、Eclipse を使用してコードを実行しており、setMapper 関数のエラーが発生し続けています。

エラーメッセージ：

この問題を調べると、API の競合である可能性があると思いますが、どこを探すべきかわかりません。他の誰かが以前にこの問題を抱えていますか?

編集Hadoop2 jar と最新の Junit(4.10) jar を含むユーザー定義ライブラリを使用しています。

EDIT 2 WordCountMapper のコードは次のとおりです

最終編集 / IT WORKS

設定する必要があることがわかりました

に

ジェネリックに問題があったからです。また、mockito ライブラリをユーザー定義ライブラリにインポートする必要がありました。

"Mismatch in value class"MapReduce 2 への移行後に、レデューサーの単体テストで例外がスローされます。

Mismatch in value class: expected: class org.apache.hadoop.io.IntWritable actual: class com.company.MyWritable

エラー メッセージ自体は明らかですが、MRUnit が IntWritable ではなく一時的な書き込み可能なクラスを取得する理由がわかりません。

レデューサーの実装:

テストのセットアップ:

そして最後にテストケース:

MRUnit を使用して Map Reduce コードをテストしています。.withInputValue は非推奨であるため使用できません。機能する同等のものを見つけることができませんでした。setInputValue も機能しません。回避策は何ですか?

私にも同様の要件があります。いくつかのスキーマを持つ avro レコードを読み取り、テキスト データ型のキー値を出力したいのですが、このために MR ユニットのテスト ケースを作成する必要があります。次のコードを書きましたが、次の例外が発生しています。

以下は、セットアップ機能の私のコードベースです。

Myschema スキーマを持つ avro ベースのレコードを読み取り、テキスト データ型を持つキーと値のペアを発行する必要があります。以下は私のマッパークラスです：

不足している構成パラメーターがあるかどうかを確認して、助けてもらえますか?

私は Definitive Guide book から Hadoop を勉強していて、このコードを実行しようとしたところ、エラーが発生しました。
第 5 章の例。Github コードへのリンク:
ソース: https://github.com/tomwhite/hadoop-book/blob/master/ch05/src/main/java/v1/MaxTemperatureMapper.java

}

テスト: https://github.com/tomwhite/hadoop-book/blob/master/ch05/src/test/java/v1/MaxTemperatureMapperTest.java

私が得ているエラーは次のとおりです。

これはたまたま Hadoop で実行している最初のコードであり、このエラーがスローされています。どんな助けでも大歓迎です。前もって感謝します