ノードごとに実行するマップ タスクの数を設定することは可能ですか。
データのクロールに Hadoop ストリーミングを使用しており、ブロックを回避するために必要なマップ タスクはノードごとに 1 つだけです。
ありがとう、
1929 次
2 に答える
3
ストリーミングの有無に関係なく、mapreduce.tasktracker.map.tasks.maximumパラメータを使用してノードあたりのマッパーの最大数を設定できます。パラメータはmapred-site.xmlノードのファイルで設定する必要があります。このプロパティは、クライアントで設定しても効果がありません。
于 2011-12-28T14:56:42.953 に答える
1
job.xml で次の設定を試してみましたか?
mapred.max.maps.per.node=1
mapred.max.reduces.per.node=1
これらはデフォルトで -1、無制限です (もちろん、利用可能なスロットを除きます)。
于 2012-02-01T17:19:26.107 に答える