java - Hadoop のデフォルトのハッシュ パーティショナーによって同じレデューサーに送られる 2 つの異なるキーは?

Question

私たちが知っているHadoopように、異なるものから来る同じキーが同じmappersに送信されることを保証しますreducer。

しかし、2 つの異なるキーが同じハッシュ値を持つ場合、それらは間違いなく同じ メソッドreducerに送られます 。このロジックを担当するのはどの部分ですか?reduce

どうもありがとう！

Answer 1

Q1:so will them be sent to the same reduce method orderly

答え：はい

---

Q2:Which part is responsible for this logic

答え：シャッフルソート

---

例 ：

key  value
 1       2
 1       2
 2       5
 3       19
 6       20

レデューサーの数が 5 だとしましょう。

Reduce 0 will get key NO key-value pairs
Reduce 1 will get key 1,6 in same order 
Reduce 2 will get key 2
Reduce 3 will get key 3
Reduce 4 will get key NO key-value pairs