hadoop - hadoop: 別の Reducer への Reducer 出力

Question

同じキーでグループ化したい場合、Reducer の出力を別の Reducer に直接送信することは可能ですか (最初の Reducer の出力)

連鎖中に、入力から読み取り、出力にコピーするためだけにマッパーを使用していることに気付くことがあります。したがって、出力をレデューサーに直接供給することが可能であることを疑問に思います

Answer 1

map-reduce ジョブを連結することはできますが、マッパーも連結できます。私の知る限り、レデューサーを直接チェーンすることはできません。

内部的には、ChainMapper を使用してリデューサーの前にマッパーをチェーンし、ChainReducerを使用してリデューサーの後にマッパーをチェーンできます。