1

EC2 マイクロ インスタンスで単一マシンの Hadoop セットアップを実行しています。簡単な wordcount プログラムを作成しましたが、実行する Map または Reduce タスクの数を明示的に指定しないと、入力ファイルは 1MB 未満です。この場合、開始されたマップ タスクの数は 2 です。

conf.setNumMapTasks(1) を使用すると、1 つのマップのみが開始されます。

入力ファイルが 1MB 未満であっても、M/R はどのようにして 2 つの Map タスクが必要であると判断しますか?

4

2 に答える 2

0

ジョブごとのマップ タスクのデフォルト数は 2 です。つまり、「mapred.map.tasks」プロパティのデフォルト値は 2 です。

こちらのドキュメントを確認してください: http://hadoop.apache.org/docs/r1.0.4/mapred-default.html

于 2013-05-29T11:21:56.927 に答える