1

並列 BFS 最短パス アルゴリズムのために不定量の map reduce ジョブを連鎖させています。パスを特定できない場合、ジョブはレコードを生成せずに無限にループします。これを確認する最善の方法は、hadoop によって維持される Map Output Bytes カウンターを取得することだと考えました。

このカウンターにアクセスするにはどうすればよいですか?

4

1 に答える 1

2

ジョブによって生成されたマップ出力バイト カウンターを取得するには、次を使用します。

long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue();

その他のカウンター グループと名前については、 http://lintool.github.io/Cloud9/docs/content/counters.htmlを参照してください。

于 2013-09-25T03:10:27.060 に答える