4

Yarn を使用して Hadoop 用の CDH4 tar をダウンロードしました。ジョブは正常に実行されていますが、ジョブのログを表示する場所がわかりません。MRv1 では、JobTracker Web アプリにアクセスするだけで、ジョブ履歴がありました。個々のジョブのログも、ここから、または logs/userlogs ディレクトリに移動してアクセスできました。

新しい Yarn セットアップ (1 台のコンピューターで実行するだけ) では、logs ディレクトリはありますが、logs/userlogs フォルダーはありません。

ResourceManager Web ページ localhost:8088 に移動すると、「すべてのアプリケーション」セクションがありますが、ここにはエントリが表示されません。JobHistory Web ページ localhost:19888 にアクセスすると、ジョブが一覧表示されません。

設定に問題がないか心配です。これが私の yarn-site.xml エントリです:

<property>
  <name>yarn.nodemanager.local-dirs</name> 
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value>
</property> 
<property> 
  <name>yarn.nodemanager.log-dirs</name>
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>
<property>
  <name>yarn.app.mapreduce.am.staging-dir</name>
  <value>/user</value>
</property>

何をデバッグするかについてのヒントは大歓迎です。

更新: nodemanager ログ ディレクトリを確認しましたが、空です。さらに、ジョブ履歴ディレクトリは空です。奇妙な点の 1 つは、HadoopINFO mapreduce.Job: The url to track the job: http://localhost:8080/から「 」と表示されることですが、ブラウザから試してみると、そのアドレスは使用できません。

更新 #2:実行する各ジョブのジョブ ID ("job_local_0001") が同じであることに気付きました。これはどこかの設定の問題のようです。

4

2 に答える 2

7

ここでのジョブはローカルで実行されており、YARN ではまったく実行されていないようです。YARN でジョブを実行するには、これが mapred-site.xml に含まれていることを確認してください。

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>

一般に、このような質問については、cdh-user メーリング リストに電子メールを送信すると、おそらくより迅速に回答が得られます。

于 2013-03-16T19:35:44.370 に答える