理論によると、次のプロパティは、データ ノードでマップ/赤いタスク スロットの数を定義することです。
mapred.tasktracker.map.tasks.maximum | mapred.map.tasks.
また、マッパー オブジェクトの数は、MapReduce ジョブの入力分割の数によって決まります。map/red 関数を実装し、フレームワークがオブジェクトを作成して、データ ブロックの最も近くに送信します。
マップ タスク スロットとフレームワークによって作成されたマッパー オブジェクトの違いは何ですか。
各ノードが 400Mb の 5 つのデータ ノードに 2TB のファイルを保存しているとします。i を定義するdfs.block.size =100Mbと、各ノードは 400/100 = 4 データ ブロックを保持します。ここでは、4 つのデータ ブロックのうち、理想的には 4 つの入力分割と、ノードごとに 4 つのマッパー オブジェクトを持つことができます。同時にmapred.tasktracker.map.tasks.maximum = 2&を定義するとmapred.map.tasks=2、そこからどのような結論を導き出すことができますか。4 つのマッパー オブジェクトが 2 つのマップ タスク スロットで共有されると言えますか。私は間違った方向に進んでいる可能性があります。明確化が役立つでしょう。