問題タブ [mrunit]

私はMavenが初めてです。MRunit テスト用の Java プロジェクトを作成し、Maven プロジェクトに変換しました。以下の依存関係を pom.xml ファイルに追加しました。ただし、Maven Dependencies フォルダーや、インターネットからプロジェクトへのダウンロードは表示されません。私を案内してください。

プロジェクトを右クリックして [JUnit テストとして実行] をクリックすると、Eclipse から MRUnit テストを実行できますが、コマンド ラインで mvn test コマンドを使用して同じ MRUnit テスト プログラムを実行すると、エラーなしで次の出力が得られます。

さらに、通常の JUnit テストを mvn test コマンドで問題なく実行できます。

次のコードで MRunit を作成しました。

しかし、Eclipse から Junit テスト ケースを実行すると。私は以下のように例外を取得しています:-

クラスを単体テストするつもりなので、このエラーの原因はわかりません。

エラーを解決する方法を教えていただければ幸いです。

MapReduce コードをテストするために MRUnit を使用する方法を理解するために、小さな例を作成しました。私が実行しようとしている例は wordcount です。コードはおなじみなので、ここには貼り付けません。

JUnit を使用してテストを作成しました。私を混乱させているのは、テストの成功は出力値がリストされている順序に依存するということです。

たとえば、次のテストはパスします。

しかし、これはそうではありません

これは私が期待する動作ではありません。

これは MRUnit のバグですか、それともそのような動作には理由がありますか?

ORC ファイルを処理するマップ プログラムがあります。ドライバーから orcformat を入力フォーマットとして設定しました。

OrcNewInputFormat では、値は OrcStruct です。Map メソッドでは Writable 値がパラメーターとして渡され (value param)、以下のようにマップ内の OrcStruct に型キャストされます。

MRUnit を使用してこのマッパーをテストしたいと考えています。このために、単体テストのセットアップ メソッドで、testFilePath に ORC ファイルを作成します。

次に、テスト メソッドでそれを読み取り、MRUnit 呼び出しマッパーを使用します。以下はコードです

しかし、テストケースの実行中にエラーが発生します

orcserde を見ると、MRUnit が呼び出す write がサポートされていないことがわかります。したがって、テスト ケースのエラーが発生します。

Orc ファイルを処理しているマッパーをどのようにユニット テスト ケースしますか。私がしていることに他の方法や何を変更する必要がありますか?

助けてくれてありがとう。

しかし、私の MR プログラムには 2 つのマッパーと 1 つのレデューサーがあるため、次を使用してドライバー オブジェクトを作成できません。

また

私が何か間違ったことをしている他の方法を提案してください。事前に感謝します

ここにコードがあります

私のユニットtestCaseコード

何らかの理由で Stackowerflow が質問の投稿を許可していなかったので、このコメントを追加します。無視してください

現在、異なるファイル名で hdfs にデータを送信する mapReduce プログラムがあります。そのため、リデューサーでは MultipleOutputs を使用して HDFS の異なるファイルに書き込みます (以下のフル リデューサー コード)。

mrunit を使用してコードをテストしたいと思います。以下はテスト方法です。

しかし、このテストを実行すると、NPE が表示されます。

レデューサー コード:

助言がありますか？