hadoop - レデューサーは Hadoop でマップ出力を収集する方法

Question

レデューサーはマップ出力をプルしますか、それともマップは出力をレデューサーにプッシュしますか? レデューサーがプルする場合、どのマップ (スレーブ マシン) に接続するかをどうやって知るのでしょうか。JobTracker は Reducer にどのマシンに接続するかを指示しますか?

Answer 1

これは完全に内部で発生します。基本的に、MapReduce フレームワークは、ネットワーク上で発生するシャッフルとソートを開始し、それをレデューサーに渡します。レデューサーまたはマッパーはプッシュまたはプルを行いません。マップのレデュース フレームワークがそれを行います。また、カスタム パーティショナー、コンパレーター、またはグループ コンパレーターがある場合は、レデューサーにプッシュする前に、それらに従ってデータのシャッフルと並べ替えを行います。

お役に立てば幸いです。