java - Hadoop の Reducer が実行されるマシンはどれですか

Question

1 台のマシンがネームノードで、残りの 3 台のマシンがデータノードである 4 ノード クラスタがある場合、リデューサーの数を 1 に設定すると、どのデータ ノードがリデューサーを実行しますか?

Answer 1

namenode と datanode は、MapReduce ではなく HDFS プロセスです。タスク トラッカー ノードが 3 つあるとします。それらの1つがそれを実行します。どちらかという保証はありません。Hadoop は通常、計算を必要なデータの近くに移動しますが、リデューサーの場合、HDFS ではなくマッパーからデータをプルします。Hadoop は、少なくとも 1 つの削減スロットを備えた負荷の少ないノードを好むと言えます。