2

私は最近、mapreduceプロジェクトの高速化を検討するように依頼されました。以下を実装するクラスの「map」メソッド内で生成されているlog4jログ情報を表示しようとしています。org.apache.hadoop.mapred.Mapper

このクラスには、次のメソッドがあります。

@Override
public void configure( .. ) { .. }

public static void doCompileAndAdd( .. ) { .. }

public void map( .. ) { .. }

doCompileAndAddconfigureメソッドとメソッド（configureメソッドから呼び出される）のログ情報を利用できます。ただし、「map」メソッドのログ情報は表示されていません。

System.out.println( .. )また、mapメソッド内で単純に使用しようとしましたが成功しませんでした。

この問題に光を当てるのを手伝ってくれる人はいますか？

ありがとう、Telax

4

1 に答える 1

4

マッパー クラスは実際にはクラスター内のノード全体に分散されたタスクで実行されるため、これらのタスクからの stdout は各タスクの個々のログに表示されます。これらのログを表示する最も簡単な方法は、クラスタのジョブ トラッカー ページ (通常は ) に移動することhttp://namenode:50030/jobtracker.jspです。そこからジョブを選択し、ログに関心のあるマップ タスクを選択できます。

于 2012-09-09T13:57:20.117 に答える