AWSサーバーでWordCountの例を実行しています。出力をテストして分析したいと思います。いいえを増やしたいです。マッパーの レデューサーのそしてまたない。チャンクの。
どうすれば同じことを達成できますか?
いいえを設定する必要がありますか?仕事を作成している間のマッパー/レデューサーの?または、コードを追加する必要がありますか?私はJavaを使用しています。
AWSサーバーでWordCountの例を実行しています。出力をテストして分析したいと思います。いいえを増やしたいです。マッパーの レデューサーのそしてまたない。チャンクの。
どうすれば同じことを達成できますか?
いいえを設定する必要がありますか?仕事を作成している間のマッパー/レデューサーの?または、コードを追加する必要がありますか?私はJavaを使用しています。
JobConfconf.setNumMapTasks(int num)
とconf.setNumRedTasks(int num)
をそれぞれ使用して MapReduce ジョブを開始する Java プログラムのメイン関数で、マッパーとリデューサーの数を設定できます。
マッパーについては、APIから次の点に注意してください。
"This is only a hint to the framework. The actual number of spawned map tasks depends on the number of InputSplits generated by the job's InputFormat.getSplits(JobConf, int). A custom InputFormat is typically used to accurately control the number of map tasks for the job."
入力チャンクの数を明示的に設定するのは少し難しくなります。入力が分割される方法は、InputFormat
使用する とそれに対応するによって決まりInputSplits
ます。入力の分割方法を操作したい場合は、独自のカスタム InputFormat/InputSplits を作成する必要があります。