hadoop - レデューサーとマッパーは同じデータ ノードに配置できますか?

Question

私はビッグ データと Hadoop について読み始めたので、この質問は非常にばかげているように聞こえるかもしれません。

これは私が知っていることです。

各マッパーは少量のデータを処理し、中間出力を生成します。この後、シャッフルとソートのステップがあります。

ここで、Shuffle = 中間出力を、それぞれが特定のキーを扱うそれぞれの Reducer に移動します。

では、1 つのデータ ノードで Mapper と Reducer コードを実行できますか、それともそれぞれに異なる DN を使用できますか?

Answer 1

マッパーとリデューサーの両方を同じノードで実行できます。例として、単一ノードの Hadoop クラスターを考えてみます。単一ノードの Hadoop クラスターでは、HDFS ストレージ全体 (データ ノード、名前ノード) と、ジョブ トラッカーとタスク トラッカーの両方がすべて同じノードで実行されます。

この場合、マッパーとリデューサーの両方が同じノードで実行されます。