1

AWSサーバーでWordCountの例を実行しています。出力をテストして分析したいと思います。いいえを増やしたいです。マッパーの レデューサーのそしてまたない。チャンクの。

どうすれば同じことを達成できますか?

いいえを設定する必要がありますか?仕事を作成している間のマッパー/レデューサーの?または、コードを追加する必要がありますか?私はJavaを使用しています。

4

1 に答える 1

0

JobConfconf.setNumMapTasks(int num)conf.setNumRedTasks(int num)をそれぞれ使用して MapReduce ジョブを開始する Java プログラムのメイン関数で、マッパーとリデューサーの数を設定できます。

マッパーについては、APIから次の点に注意してください。

"This is only a hint to the framework. The actual number of spawned map tasks depends on the number of InputSplits generated by the job's InputFormat.getSplits(JobConf, int). A custom InputFormat is typically used to accurately control the number of map tasks for the job."

入力チャンクの数を明示的に設定するのは少し難しくなります。入力が分割される方法は、InputFormat使用する とそれに対応するによって決まりInputSplitsます。入力の分割方法を操作したい場合は、独自のカスタム InputFormat/InputSplits を作成する必要があります。

于 2012-10-05T17:32:27.517 に答える