hadoop - コマンドラインでHadoopジョブクライアントを介してHadoopジョブを送信する

Question

コマンドラインからHadoopジョブを送信する方法に関する情報を見つけようとしています。

私はコマンドを知っています-hadoopjarjar-file main-class input output

情報を見つけようとしているが、-hadoop job-submitjob-fileを実行できなかった別のコマンドもあります

「ジョブファイル」とは何ですか？どのように作成しますか？コマンド（a。）と（b。）の基本的な違いは何ですか？どちらがより良いオプションですか？

前もって感謝します。

Answer 1

これは、wordcountMap-reduceジョブを実行するためのジョブファイルの例です。同様に、Map-Reduceジョブのジョブファイルを作成できます。

mapred.input.dir=data/file1.txt
mapred.output.dir=output
mapred.job.name=wordcount
mapred.mapper.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Map
mapred.combiner.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.reducer.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.input.format.class=org.apache.hadoop.mapred.TextInputFormat
mapred.output.format.class=org.apache.hadoop.mapred.TextOutputFormat
mapred.mapoutput.key.class=org.apache.hadoop.io.Text
mapred.mapoutput.value.class=org.apache.hadoop.io.IntWritable
mapred.output.key.class=org.apache.hadoop.io.Text
mapred.output.value.class=org.apache.hadoop.io.IntWritable

私にとっては、「Hadoop Jar」の方が優れています。ジョブファイルで行われる構成は、プログラム自体で簡単に行うことができます。ありがとう