Hadoop では、JobTracker は、実際のデータ移動の前に、各 ReduceTask が (シャッフル フェーズで) 取得する必要があるデータの量を知ることができますか? シャッフル フェーズ中のデータ移動に関する統計を収集しようとしています。
質問する
96 次
1 に答える
0
要するに、それは知ることができますか - おそらく、この情報を使用しますか - いいえ。
構成プロパティの構成によってmapred.reduce.slowstart.completed.mapsは、マップ タスクの大部分が完了する前に削減タスクが開始される可能性があるため、スケジューラの実装では、削減タスクをスケジュールするときにこの情報が考慮されません。
独自のスケジューラを実装すると、いくつかのカウンター統計からこの情報を取得できるかもしれませんが、ソースを掘り下げる必要があり、カウンターにアクセスできるかどうかはわかりません。
別の方法として、map / reduce カウンターおよび/またはタスク試行のログ (おそらくタスク トラッカー ログも) を利用できませんか?
于 2012-07-03T22:58:38.787 に答える