Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
2 つの異なるデータノードで実行されている 2 つの異なるマッパーから同じキー/値のペアを取得し、単一のレデューサーを使用している場合、重複するキー/値のペアを削除してレデューサーに入るのを防ぐにはどうすればよいですか?
コンバイナーを使用して、同じキーに重複する値があるかどうかを確認し、コンバイナーでそれを削除する必要がありますか? しかし、コンバイナーは単一のマッパーからすべてのキーと値のペアを入力として受け取りますよね?
そのような重複を処理することは、まさにレデューサーの義務です。この理由から、Hadoopでそれを正確に許可する方法はないと思います。 あなたが正しい方法で指摘したように-コンバイナーはここで完全に役立つわけではありませんが、そのような重複の数を減らすだけです