1

Mongo DB の map reduce フレームワークで、(Hadoop Map Reduce のように) Combiner に似たものはありますか。Mongo DB クラスターで map reduce フレームワークを試しています。reduce フェーズに送信される前に結合される可能性のあるキーの行がいくつかあります。

1 billion records which I'm going to map-reduce
Each record is 100 bytes
100 records with same key (map) on each node

ネットワークの白黒は、そのような操作のボトルネックになるのではないでしょうか? これにより、各ノードにミニレデューサー (コンバイナーなど) フェーズがある場合に回避できる多くのエミットが発生することを理解していますか、それとも私の理解が間違っていますか?

Hadoop Map reduce の Combiner フェーズに近いものはありますか? またはそうでない場合、今後のリリースで同様の計画はありますか?

4

1 に答える 1

1

私の現在の知識では、Mongo の MapReduce 実装にはコンバイナーフェーズはありません。Mongo は、標準とは多少異なるバージョンの MR を実装しています。パフォーマンスの問題がある場合は、Hadoop を使用することをお勧めします。

ここでは、Mongo MR と Hadoop の違いについて議論する別の SO の質問があります。

于 2013-05-15T10:59:29.357 に答える