私はHadoopの初心者です。Hadoop 1.X では、マスター ノードから Hadoop ストリーミング ジョブを送信し、namenode Web から結果と実行時間を確認できます。
以下は、Hadoop 1.X での Hadoop ストリーミングのサンプル コードです。
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper /bin/cat \
-reducer /bin/wc
ただし、Hadoop 2.x では、ジョブ トラッカーは削除されています。Hadoop 2.X で同じ機能を取得するにはどうすればよいですか?
Hadoop 2.0 では、複数の方法でジョブを表示できます
1) ResourceManager UI ResourceMnagerhostname:8088/cluster
からジョブを表示します 2) HUE からジョブを表示します - HUEServerHostname.com:8888/jobbrowser/
3) コマンドラインから (ジョブが完了したら)
使用法: yarn logs -applicationId [オプション]
一般的なオプションは次のとおりです。 -appOwner AppOwner (指定されていない場合は現在のユーザーと見なされます) -containerId ContainerId (ノード アドレスが指定されている場合は指定する必要があります) -nodeAddress nodename:port の形式の NodeAddress (コンテナー ID が指定されている場合は指定する必要があります) 例: 糸のログ -applicationId application_1414530900704_0005