hadoop - map reduce フレームワークは、map が完全に完了する前に reduce を実行することをどのように決定できますか?

Question

通常、hadoop クラスターがビジーでない場合、map 側が完全に完了する前に、reduce 側が進行し始めることに気付きましたか? そんなことがあるものか？進行状況インジケーターを減らすことはやや誤解を招くとどこかで読んだことを覚えていますが、正確には思い出せません。誰かがこれに光を当てることができますか?

Answer 1

33 ¹ / ₃ % の削減タスク進行状況インジケーターは、マップ出力をコピーしています。(別の 33 ¹ / ₃ % はそれらをソートしており、最後の 33 ¹ / ₃ % は reduce() メソッドへの実際の呼び出しを構成しています。) マッパーは常に終了しており、構成した数の reduce タスクがプルされています。これらの出力は準備が整うとすぐに実行されるため、reduce() 呼び出しが発生する前に、reduce フェーズの最初のラウンドの最大² / _{3が完了します。}

Answer 2

既に与えられた回答に加えて、この動作は mapred プロパティによって制御されますmapred.reduce.slowstart.completed.maps。これは、コピー ステージが開始される前に完了する必要があるマップ タスクのパーセンテージ (0-1) を表します。

Answer 3

これは、reducer が map 出力を reduce タスクが実行されるノードにコピーする必要があるためです。map タスクが終了し、その出力をコミットした場合は、それを直接転送して、レデューサーで既に利用可能なデータにマージできます。

したがって、すべてのマッパーが終了するまで待つのではなく、これにより多くの時間を節約できます。