問題タブ [mrunit]

MRUnit 1.1.0 でいくつかの MapReduce をテストしようとしていますが、次のエラーが発生しました。

私が実行するコードは次のとおりです。

私は JIRA https://issues.apache.org/jira/browse/MRUNIT-13を読んでいて、MRUnit に新しい機能を追加していますが、何が欠けているのかわかりません..

注釈も含めました：

コードのチェックとデバッグを続け、修正しました。問題は、Mapper での書き方でした。私は mop.write(K,V,baseOutput) インスタンス mop.write(NameFile, K, V) を使用していましたが、今では動作しています

しかし、私は本当により快適に感じます

この方法で MRUnit が機能しない理由がわかりません。何も返されません。コードの内部に入りましたが、わかりませんでした。どんな手掛かり？

Cloudera リポジトリに最新のものが見つかりませんでしmrunit(1.1.0)た。利用可能なものはです。以下は私のものです：0.8.0-incubatingpom

バージョンを 1.1.0 に変更すると、Eclipse は pom ファイルの mrunit 依存関係で見つからないアーティファクトをスローします。

Apacheレポを追加してみました

Eclipseは jar をダウンロードします.m2が、アーティファクトが見つかりません。単体テストの呼び出しはコンパイルされません。mrunit誰かが cloudera リポジトリで最新のものを安全に使用する方法を教えてください。

ありがとう、アミット

マッパーのみがあり、リデューサーが設定されていない mapreduce プログラムがあります。これをテストしたい。私は以下のテストコードを持っています

mapDriver.withOutput(null, [some value]); の呼び出しで この行は例外の下にスローされています

java.lang.NullPointerException at org.apache.hadoop.mrunit.internal.io.Serialization.copy(Serialization.java:58) at org.apache.hadoop.mrunit.internal.io.Serialization.copy(Serialization.java:91) ) org.apache.hadoop.mrunit.internal.io.Serialization.copyWithConf(Serialization.java:104) で

null を出力するマッパーのテストシナリオの書き方を教えてください。

Nullwritable.get を実行すると、org.apache.hadoop.mrunit. internal.io.Serialization.copy(Serialization.java:91) の org.apache.hadoop.mrunit.internal.io.Serialization.copyWithConf(Serialization.java:104) の org.apache.hadoop.mrunit.TestDriver.copy( TestDriver.java:608) org.apache.hadoop.mrunit.TestDriver.copyPair(TestDriver.java:612) org.apache.hadoop.mrunit.TestDriver.addOutput(TestDriver.java:118) org.apache.hadoop .mrunit.TestDriver.withOutput(TestDriver.java:138) at com.gfk.gxl.etl.common.ExtractCSVTest.testMapper(ExtractCSVTest.java:73) at sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド)

シリアライゼーションで Avro NullPointerException を使用した MRUnitのように見えます が、答えは私の問題を解決していません

マッパーが複数の HBase テーブルから読み取る mapreduce ジョブがあります。私のクラスターでは問題なく動作します。MRUnit を使用して遡及的にいくつかの単体テストを作成しています。map() メソッドへの入力として使用するために、手動でインスタンス化された KeyValue オブジェクトのリストから Result オブジェクトを作成しようとしています。その後、map() メソッドでいくつかの列を読み込もうとすると、リストの最初の KeyValue オブジェクトだけが Result オブジェクトに保持されているようです。他の列は null です。以下では、「0」という名前の単一の列ファミリーがあります。

Result オブジェクトを正しく作成していませんか? 前述のように、マッパーはクラスター上の実際の HBase データに対して正常に動作するため、テスト セットアップに問題があると思います。

以下のMapReducerの単体テストにMRunitを使用しています。pomの変更です

私はAVROを使用していません。

シリアライゼーションの問題を取り除くために、以下の行を追加しました

今、以下のAPIを使用して入力を追加しています

しかし、上記の呼び出しで入力を追加すると、以下のエラーが発生します

ここで何が欠けているのか分かりますか?

MultipleOutputs の概念を使用したマップのみの Hadoop ジョブを作成しました。ここでの問題は、このコードを MRUnit でテストしたいということです。MultipleOutputs テストの実例は見当たりません。

私のマッパーコードは次のようになります

MultipleOutputs を使用した MRUnit テストの実例を教えてください。

hadoop2 mapreduce コードをテストしたいです。mrunit を使用しますが、エラーが発生します。ローカル マシンでは Windows に Hadoop がインストールされません。以下のpom.xml：

マップコードbelows:

以下のコードを削減します。

Mrunit コード テスト下:</p>

execute test method have error.use mrunit は、ローカル マシンに Hadoop をインストールする必要がありますか?

問題を解決するには？