michael noll のチュートリアルに従って、hadoop をダウンロードしてインストールしました。wordcount の例も実行しました。しかし、私は同じ出力を見ることができません。dfs でファイルを見ると、持っているファイルのすべてのリストを取得します
しかし、これらのファイルを cat すると、エラーが発生します。
そこで何がうまくいかなかったのだろうか...
catしようとしているHDFSのファイルはディレクトリです(フラグ列に表示されますdrwxr-xr-x
)。通常、Hadoop ジョブは結果をディレクトリに出力し、リデューサーごとに (または、リデューサーなしでジョブを実行する場合はマッパーごとに) 1 つのファイルを出力します。
そのフォルダの内容を見ると、いくつかの part-r ファイルが表示されるはずです。これらのファイルを cat してみてください。
bin/hadoop dfs -cat /user/ravi/tempoutput.txt/part-r-*
wordcount の例を実行するための予期される構文は次のとおりbin/hadoop jar hadoop-examples-1.0.4.jar wordcount <input_dir> <output_dir>
です。wordcount でデータが処理されず、結果が表示されない可能性があります。を実行bin/hadoop jar hadoop-examples-1.0.4.jar wordcount /user/ravi/inputall /user/ravi/output
してbin/hadoop dfs -ls /user/ravi/output
から結果を確認してください。
さらに、マップの詳細を確認して、実行後に yob の実行を減らす必要があります (コンソールで直接、または Web インターフェイスを使用して)。処理された入力レコード/バイト数に関する詳細情報が必要です。Web ブラウザでファイル システム全体を参照することもできます。http://localhost:50070/dfshealth.jsp