mapreduce - Hadoop Map Reduce - レデューサーの数

Question

異なる年齢層の会社の従業員のデータを持つユースケースがあります。3 つの年齢グループ カテゴリの男性従業員と女性従業員の最高給与を見つける必要があります。

詳細については、以下のリンクにアクセスしてください -

http://www.myhadoopexamples.com/2014/03/01/hadoop-mapreduce-example-with-partitioner/

私の質問は-ここでは、マッパーによって発行されたキーは2つだけです。つまり、男性と女性です。ドライバークラスに3つのレデューサーを設定したため、3つのパーティションが作成されます。

以下の2つのことがあります-

1. 3つのパーティションごとに3つのレデューサーが実行され、各パーティションの女性と男性の最大給与が調べられます。上記のリンクに示すように、期待される結果が得られます。

2. 男性用と女性用の減速機のみが実際に実行され、計算を行います

Answer 1

レデューサーの実際の数を知りたい場合は、クラスターで実行することをお勧めします。

Number of reducer in map reduceで述べたように、3 つの reducer を起動し、1 つの reducer はデータを処理しません。3 つのレデューサーをすべて使用する場合は、年齢層ごとにデータを分割するように、Partioner クラスを変更できます。