hadoop - Hadoop ストリーミング API - ジョブごとにマッパーの数を制限する

Question

データノードごとにスポーンするマッパーの数を制限したい小さな Hadoop クラスターでジョブを実行しています。-Dmapred.map.tasks=12 を使用すると、何らかの理由で 17 のマッパーが生成されます。グローバルに制限する方法を見つけましたが、ジョブごとに実行したいと考えています。

Answer 1

Map Reduce では、生成されるマッパーの総数は、データから作成される入力分割に依存します。

入力分割ごとに 1 つのマッパー タスクが生成されます。SO 、Map Reduce でマッパーの数を減らすことはできません。