-1

Hadoop でジョブを構成し、コードでマップ タスクの数を 8 に設定しました。しかし、ジョブを実行すると、152 のマップ タスクが開始されます。

構成がオーバーライドされる理由と、152 という数字の由来がわかりません。

参考までに: 私の mapred-site.xml では、「mapred.map.tasks」の値は 24 です。

誰かアイデアがありますか？

4

1 に答える 1

1

マップ タスクの最小数は、Hadoop がデータを分割するときに設定されます。最大値を最小値より下に設定することはできません。

Hadoop wiki から:

マップ タスクの数は、JobConf の conf.setNumMapTasks(int num) を使用して手動で増やすこともできます。これを使用してマップ タスクの数を増やすことができますが、Hadoop が入力データの分割によって決定する数を下回る数は設定されません。

ソース: http://wiki.apache.org/hadoop/HowManyMapsAndReduces

于 2012-08-22T17:23:35.673 に答える