0

Hadoop ストリーミングの使用:

hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.0.3.jar -file mapper.rb -mapper mapper.rb -file reducer.rb -reducer reducer.rb -input textfile.txt -output output

私がいるディレクトリが「/home/user/sei/Documents」であり、textfile.txtであると仮定します

1) is in the same folder as the directory I am currently in 
2) I did not use -copyFromLocal to put textfile.txt into HDFS

Hadoop は処理に使用するために、入力ファイル (この場合は textfile.txt) を HDFS のある場所 (つまり、実行時に自動的に「/user/sei/textfile.txt」) に自動的にコピーしますか? これは Hadoop コマンドのすべてのケースに適用されますか (つまり、 hadoop jar jarfile myfilename )

4

1 に答える 1

1

いいえ、レコードを HDFS にコピーすることはありません。自分で行う必要があります。1 台のマシンで単一ノードまたは疑似分散クラスターを実行している場合は、ローカル ファイル パスで問題ありません。ただし、分散クラスターを実行している場合、マッパーとリデューサーはそのファイルを見つけることができません。

于 2013-05-01T04:03:05.467 に答える