java - AWSはHadoopAPIを使用してマップとレデューサーを増やします

Question

AWSサーバーでWordCountの例を実行しています。出力をテストして分析したいと思います。いいえを増やしたいです。マッパーの レデューサーのそしてまたない。チャンクの。

どうすれば同じことを達成できますか？

いいえを設定する必要がありますか？仕事を作成している間のマッパー/レデューサーの？または、コードを追加する必要がありますか？私はJavaを使用しています。

Answer 1

JobConfconf.setNumMapTasks(int num)とconf.setNumRedTasks(int num)をそれぞれ使用して MapReduce ジョブを開始する Java プログラムのメイン関数で、マッパーとリデューサーの数を設定できます。

マッパーについては、APIから次の点に注意してください。

"This is only a hint to the framework. The actual number of spawned map tasks depends on the number of InputSplits generated by the job's InputFormat.getSplits(JobConf, int). A custom InputFormat is typically used to accurately control the number of map tasks for the job."

入力チャンクの数を明示的に設定するのは少し難しくなります。入力が分割される方法は、InputFormat使用する とそれに対応するによって決まりInputSplitsます。入力の分割方法を操作したい場合は、独自のカスタム InputFormat/InputSplits を作成する必要があります。