6

を使用してHadoop2.2います。自分の仕事が無事に完了したことがわかります。ファイルシステムを参照して出力を見つけることができます。しかし、ブラウジングするhttp://NNode:8088/cluster/appsと、これまでに完了したアプリケーションが表示されません (3 つの wordcount ジョブを実行しましたが、ここには表示されません)。

考慮する必要がある構成はありますか?

ここに画像の説明を入力

こちらがyarn-site.xml

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>NNode</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!--
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
-->

ここにあるmapred-site.xml：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

ジョブ履歴サーバーも実行しています：

jps
4422 NameNode
5452 Jps
4695 SecondaryNameNode
4924 ResourceManager
72802 Jps
5369 JobHistoryServer
4

2 に答える 2

0

ジョブが実行されているにもかかわらず、Hadoop がジョブ トラッカーに自分のジョブを表示していないことを参照できます

                    conf.set("fs.defaultFS", "hdfs://master:9000");
                    conf.set("mapreduce.jobtracker.address", "master:54311");
                    conf.set("mapreduce.framework.name", "yarn");
                    conf.set("yarn.resourcemanager.address", "master:8032");

クラスターでテストしました。できます！

于 2015-09-11T16:40:51.143 に答える
0

申請が完了した後、その責任は に移される可能性がありますJob History Server。Job History ServerというわけでURLをチェック。通常、ポートでリッスンします19888。例えば

http://<job_history_server_address>:19888/jobhistory

ログ ディレクトリとログ保持期間は、 で設定できますyarn-site.xml。を使用YARNすると、ログを 1 つの (構成可能な) 場所に集約することもできます。

場合によっては、アプリケーションがリストされていても、ログが利用できないことがあります (これが のバグによるものかどうかはわかりませんYARN)。ただし、ほとんどの場合、コマンド ラインを使用してログを取得できました。

yarn logs -applicationId the_application_id

複数のオプションがありますが。詳細については、ヘルプを使用してください。

ヤーンログ --help

于 2015-05-14T19:07:46.763 に答える