2

タスクレベルでHadoopロギングを設定しようとしていますが、これまでのところ成功していません。

log4j.propertiesを変更し、多くのパラメーターをDEBUGレベルに設定しました。

  • log4j.logger.org.apache.hadoop.mapred.Task = DEBUG
  • log4j.logger.org.apache.hadoop.mapred.MapTask = DEBUG
  • log4j.logger.org.apache.hadoop.mapred.ReduceTask = DEBUG
  • log4j.logger.org.apache.hadoop = DEBUG

しかし、記録されているタスクからのLOG.infoまたはLOG.debugメッセージを見ることができません。これは、Yarnが有効になっている場合です。

正しく機能させるための構成で何を見逃したのかわかりません。最終的にこれらのメッセージをnodemanage.outログファイルで取得する必要があると思いますか？

4

1 に答える 1

0

Yarn コンソールからアプリのログ メッセージを表示できるはずですが、そこに到達するにはいくつかの手順があります。

1.) Yarn Console (通常はhttp://yourserver:8088 ) に移動します。 2.) Tools->Local Logs に移動します。 3.) 「userlogs」リンクを見つけて選択します。 4.) アプリケーション (MapReduce ジョブなど) を見つけます。 「ジョブ」プレフィックスの代わりに「アプリケーション」プレフィックスを付けて名前を付け、それを選択します。5.) 次に、コンテナー ログ (通常は「syslog」) の下に、ジョブ レベルのログが表示されます。

完全なパスの例を以下に示します。 http://yourserver:8088/logs/userlogs/application_1427820474064_0003/container_1427820474064_0003_01_000019/syslog

于 2015-03-31T23:50:56.177 に答える