1

Hadoop クラスターで作業することを学んでいます。私は perl/python で map-reduce スクリプトをコーディングし、ジョブを実行した Hadoop ストリーミングにしばらく取り組んでいました。ただし、Java マップ削減ジョブを実行するための適切な説明は見つかりませんでした。例：私は次のプログラムを持っています-

http://www.infosci.cornell.edu/hadoop/wordcount.html

このプログラムを実際にコンパイルしてジョブを実行する方法を教えてください。

4

1 に答える 1

6

コンパイルされたクラスを保持するディレクトリを作成します。

mkdir WordCount_classes

クラスをコンパイルします。

javac -classpath $ {HADOOP_HOME} / hadoop-$ {HADOOP_VERSION}-core.jar -d WordCount_classes WordCount.java

コンパイルされたクラスからjarファイルを作成します。

jar -cvf $ HOME / code / hadoop / WordCount.jar -CWordCount_classes/。

入力用のディレクトリを作成し、すべての入力ファイルをそのディレクトリにコピーしてから、次のようにジョブを実行します。

bin / hadoop jar $ HOME / code / WordCount.jar WordCount $ {INPUTDIR} $ {OUTPUTDIR}

ジョブの出力は${OUTPUTDIR}ディレクトリに配置されます。このディレクトリはHadoopジョブによって作成されるため、ジョブを実行する前に、このディレクトリが存在しないことを確認してください。

完全な例については、こちらをご覧ください。

于 2012-05-08T07:52:35.250 に答える