データの局所性と、マルチノード クラスターでの動作MapReduce
と動作について説明するコンテンツが多数あります。HDFS
しかし、単一ノードのセットアップに関する情報はあまり見つかりません。私が実験している過去 3 か月間、私Hadoop
は常にマッパーとリデューサーの数に関するチュートリアルとスレッドを読み、ジョブを最適化するためのカスタム パーティショナーを作成していますが、それは単一ノード クラスターに適用されるのでしょうか?
MapReduce
マルチノード クラスタと比較して、単一ノード クラスタで実行中のジョブの損失はどのくらいですか?
この場合でも、入力データを分割することによって提供される並列処理は適用されますか?
単一ノードからの入力の読み取りHDFS
とローカル ファイルシステムからの読み取りの違いは何ですか?
私の経験が少ないため、これらの質問に明確に答えることはできないと思います。
前もって感謝します!
編集: @TC1 によってリストされたすべての要因により、Hadoop は単一ノードのセットアップには適していないことを理解しています。では、疑似分散 Hadoop 環境をセットアップする利点は何でしょうか?