unit-testing - Hadoop の Maven 依存関係: MiniDFSCluster および MiniMRCluster

Question

Hadoop MapReduce ジョブの単体テストに役立つ Maven プロジェクトを実装したいと考えています。私の最大の問題は、Maven の依存関係を定義して、テスト クラス (MiniDFSCluster と MiniMRCluster) を利用できるようにすることです。

Hadoop 2.4.1 を使用しています。何か案は？

Answer 1

他の誰かがまだ答えを探している場合:

MiniMRCluster は非推奨になりました。

依存関係で MiniDFSCluster と MiniMRCluster を取得できます (Gradle の場合)。

compile group: 'org.apache.hadoop', name: 'hadoop-minicluster', version: '2.7.2'

依存関係は、基本的に、このパッケージの依存関係をリストする pom ファイルです。これを調べたい人のために、MiniDFSCluster はアーティファクトにありますhadoop-hdfs:tests

Cloudera リポジトリの依存関係を使用する必要はありません

Answer 2

私はそれを理解したと思います。Maven pom ファイルで、最初に新しいリポジトリを追加します。

<repositories>
    <repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>

次に、プロジェクトの依存関係に以下を追加します

<dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.1</version>
</dependency>
<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>4.11</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-auth</artifactId>
    <version>2.0.0-cdh4.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-test</artifactId>
    <version>2.0.0-mr1-cdh4.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.0.0-cdh4.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.0.0-cdh4.3.0</version>
    <classifier>tests</classifier>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.0.0-cdh4.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.0.0-cdh4.3.0</version>
    <classifier>tests</classifier>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>2.0.0-mr1-cdh4.3.0</version>
</dependency>

誰かがプロジェクト全体を取得することに興味がある場合 (有名な WordCount MapReduce ジョブの単体テスト、喜んで共有します)