0

2 つの異なるデータノードで実行されている 2 つの異なるマッパーから同じキー/値のペアを取得し、単一のレデューサーを使用している場合、重複するキー/値のペアを削除してレデューサーに入るのを防ぐにはどうすればよいですか?

コンバイナーを使用して、同じキーに重複する値があるかどうかを確認し、コンバイナーでそれを削除する必要がありますか? しかし、コンバイナーは単一のマッパーからすべてのキーと値のペアを入力として受け取りますよね?

4

1 に答える 1

2

そのような重複を処理することは、まさにレデューサーの義務です。この理由から、Hadoopでそれを正確に許可する方法はないと思います。
あなたが正しい方法で指摘したように-コンバイナーはここで完全に役立つわけではありませんが、そのような重複の数を減らすだけです

于 2012-07-20T09:57:59.037 に答える