0

レデューサーの数を 1 に設定するとどうなりますか? 単一のファイルに書き込みますか、それともボトルネックを作成しますか (デフォルトではレデューサーの数が 1 つであるため)。レデューサーの数はランタイムによって決定されますか?

4

1 に答える 1

2

1 つのレデューサーでジョブを実行すると、レデューサー タスクの並列性が失われます。レデューサー タスクはすべてのマッパーの出力を受け取り、メモリを大量に消費する可能性があり、最終的に 1 つのファイルに書き込むことになります。レデューサーの数はデフォルトで 1 つですが、ジョブ構成で次のように設定することで増やすことができます。

      jobConf.set("mapred.reduce.tasks", numReducers)
于 2012-09-05T23:47:02.800 に答える