hadoop - 疑似分散 : マッパー ノードの数を変更する必要があります

Question

Intel(R) Core(TM)2 Duo プロセッサを使用しています。Hadoop を疑似分散モードでインストールしました。50 のマッパー ノードを必要とするプログラムを作成しました。疑似分散モードで 50 のマッパー ノードを持つことは可能ですか、それとも 4 ノード (2 * コア数) に制限されますか。「mapred.tasktracker.map.tasks.maximum」を 50 に設定してみましたが、同時実行性に変化はありません。

Answer 1

map および reduce タスクの最大数は、クラスター内のタスク トラッカーの数と、プロパティmapreduce.tasktracker.map.tasks.maximumおよびを使用して定義されたノードあたりの map/reduce タスクの最大数によって異なりますmapreduce.tasktracker.reduce.tasks.maximum。

あなたの map reduce ジョブには、デフォルトのブロック サイズ構成で 50 個のマップ タスクが必要だと思います。ジョブに必要なマップ タスクの数は、処理されたデータの InputSplit の数によって異なります。必要なマップ タスクの数に依存したり、プログラムでこの制限を定義したりしないでください。これは、マップ縮小ジョブのスケーリングに影響します。

1 つのオプションは、マッパー タスクの最大数を 50 に設定することです。使用可能なマッパー タスクの数は、ジョブ トラッカー Web UI のクラスター サマリー セクションに表示されます。ただし、プロセッサにはコアが 2 つしかないため、50 のマッパーを同時に起動することがマップ削減ジョブのパフォーマンスにプラスの影響を与えるかどうかを再検討する必要があります。