hadoop - クラスター内の各マシンで map と reduce のメトリックを取得する方法は?

Question

クラスターに関する情報が必要です。実際、クラスター内の各マシンのメトリックを取得したいと考えています。ジョブを実行した後、Map と Reduce でメトリクス (数値など) を取得したいと考えています。出来ますか？

Answer 1

Reporterはまさにこの種の操作に使用されます。

一般に、この方法でToolRunner を使用して、map および reduce メソッドで Reporter インスタンスを受け取ります。

このオブジェクトを使用すると、インスタンスはクラスターのさまざまなノード間でカウンターを保持し、ステータスを報告できます。