mapreduce - MapReduceの非効率的なレデューサー

Question

map関数によって出力されるすべてのキーが同じである以外に、MapReduceジョブで1つのレデューサーのみが発生する原因は何でしょうか。

Answer 1

考えられる原因：

1. クラスタには、レデューサーが1つしかないというデフォルト設定（=デフォルト値）がまだあります。
2. コードは、値を1レデューサーに明示的に設定します。
3. ローカルモードで実行しています（つまり、クラスターがまったくありません）。

mapred-default.xmlからの引用

<property>
  <name>mapred.reduce.tasks</name>
  <value>1</value>
  <description>The default number of reduce tasks per job. Typically set to 99%
  of the cluster's reduce capacity, so that if a node fails the reduces can 
  still be executed in a single wave.
  Ignored when mapred.job.tracker is "local".
  </description>
</property>