私は非常に単純なユースケースを持っています...基本的に私はエッジリストを持っていて、それを隣接リストに変換しようとしています..基本的に
src target
a b
a c
b d
b e
など..私が構築しようとしているのは
a [b,c]
b [d,e]
.. and so on..
しかし、時々..私は何百万ものエッジを持つスーパーノードにぶつかります..
したがって、ノード ID だけをキーイングすると、このストラグラー レデューサーが原因で MR の実行が不十分になります。
私はパーティショナーを理解しようとしています..しかし、ここでそれを使用する方法がわかりませんか?
このストラグラーの問題を解決するにはどうすればよいですか? ありがとう