hadoop - AWS には 4 つのマッパーと 2 つのレデューサーしか必要ありませんが、それは実現しませんか?

Question

4つのマップと2つのリデュースのみが存在することを確認するにはどうすればよいですか。1つの大きなインスタンスを使用すると、6つのマップと2つのリデュースランダムが得られることがあるためです。ジョブをセットアップするときに追加の引数に mapred.map.tasks=4 を入れてみましたが、これも機能しませんでした

Answer 1

ブートストラップ アクションでマッパーとリデューサーの数を設定してみてください。

     elastic-mapreduce --create \
     --name "cluster_name" \
     --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop --args -m,mapred.map.tasks=4,-m,mapred.reduce.tasks=2,-m,mapred.tasktracker.map.tasks.maximum=4,-m,mapred.tasktracker.reduce.tasks.maximum=2