HDP 2.x と色相をインストールしました。(2 ホスト)
私は Oozie ワークフローが初めてなので、この問題を解決する必要があります。ここの例に従いました: http://www.oraclealchemist.com/news/hadoop-streaming-hue-oozie-workflows-hive/ すべてのホストにそれぞれのパスのみでマッパーとリデューサーがある場合、完全に機能します。Oozie の ambari-qa スモーク テストは問題ないと思いますが、Oozie の Hue UI からストリーミング ジョブを送信すると、マッパーとリデューサーが、単語カウント (単語の頻度) を実行するシェル スクリプトであり、「ファイルの追加」(-ファイルを Hadoop コマンド ラインで) セクションに追加し、マッパーとレデューサーを HDFS にアップロードします。この変更とこのジョブの送信後、エラーが発生しました。マップ タスクを試行するたびに、次のエラーが発生します。
2013-12-16 19:21:24,278 エラー [メイン] org.apache.hadoop.streaming.PipeMapRed: 構成例外 java.io.IOException: プログラムを実行できません "/hadoop/yarn/local/usercache/root/appcache/application_1387201627160_0006 /container_1387201627160_0006_01_000002/./maptf.sh": java.io.IOException: エラー=2、そのようなファイルまたはディレクトリはありません
これは、oozie/mapred/yarn がファイルのみを作成するパスでマッパーとリデューサーを見つけることができないことを意味します。Oozie の構成とワークフローの問題はありますか? (電子メールによるログ: sandeepboda91083@gmail.com)
HDFS では、root ユーザーの下ですべてのパスとファイルを正しくセットアップしています。
注: 次のように、oozie なしでストリーミング ジョブを実行できます。
cd /root/mrtest/
ls
-rwxrwxrwx 1 root root 235 Dec 11 11:37 maptf.sh
-rwxrwxrwx 1 root root 273 Dec 11 11:37 redtf.sh
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-76.jar -D stream.num.map.output.key.fields=1 -input crane_in1 -output crane_out2 -file ./maptf.sh -mapper maptf.sh -file ./redtf.sh -reducer redtf.sh
ここにログを添付できないようです。ファイルとログをメールで送ってください。