1

3ノードのHadoopクラスター。マスターを1ノードにしたいのですが。1つのノードで発生するタスクをマップし、1つのノードでタスクを減らします。MapタスクとReduceタスクは分離する必要があります。出来ますか？私が気付いた限りでは、両方が一緒に実行されます。光を当てることができれば素晴らしいと思います。ありがとうございました ！

-セトゥー

4

1 に答える 1

4

マップ出力は常に別のサーバーにコピーする必要があるため、これは最適ではありません。
ただし、サーバー上の mapred-site.xml を変更するだけです。

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of map tasks that will be run simultaneously by a task tracker.</description>
</property>

<property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of reduce tasks that will be run simultaneously by a task tracker.</description>
</property>

レデューサーを実行しないサーバーでは、reduce.task.maximum にゼロを入力します。他のサーバーではその逆です。

于 2011-04-16T15:57:53.017 に答える