問題タブ [combiners]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Mapreduce ジョブ: レデューサーなしのコンバイナー
レデューサーの数を 0 に設定すると、コンバイナーが機能しないことに気付きました。レデューサーなしでコンバイナーを使用することは可能ですか? ありがとう。
hadoop - アグリゲーター機能を備えた Hadoop コンバイナー
レデューサーの代わりにアグリゲーター関数の 1 つを使用する場合、Hadoop はコンバイナーフェーズに同じ関数を使用するほどスマートになりますか?
mongodb - Mongo DB の map reduce フレームワークにコンバイナー フェーズはありますか
Mongo DB の map reduce フレームワークで、(Hadoop Map Reduce のように) Combiner に似たものはありますか。Mongo DB クラスターで map reduce フレームワークを試しています。reduce フェーズに送信される前に結合される可能性のあるキーの行がいくつかあります。
ネットワークの白黒は、そのような操作のボトルネックになるのではないでしょうか? これにより、各ノードにミニレデューサー (コンバイナーなど) フェーズがある場合に回避できる多くのエミットが発生することを理解していますか、それとも私の理解が間違っていますか?
Hadoop Map reduce の Combiner フェーズに近いものはありますか? またはそうでない場合、今後のリリースで同様の計画はありますか?
hadoop - コンバイナーは条件付きで実行されますか
min.num.spills.for.combine (デフォルト 3)
それは何を意味しますか？
a) 最小番号。コンバイナーを実行するために必要なマップスピルの数は? コンバイナーを指定しても、実行が保証されないのですか?
b) 最小番号。コンバイナーが io.sort.factor によって作成されたマージ/ソートされた単一ファイルで実行される前に持つスピルの数。そのため、マージによって新しいファイルが作成されるたびに、コンバイナーはそのファイルに対して実行されます。流出量は最小 3
正解は a) だと思いますが、誰でも確認できますか。
hadoop - Combiner を使用した MapReduce の実行時間
ファイルを読み取り、5 文字以下のすべての単語を収集し、最初の文字をキーとして大文字で始める MapReduce ジョブがあります。コンバイナーを使用せずに 1 回、コンバイナーを使用して 2 回ジョブを実行しました。実行時間を比較したところ、コンバイナーを使用すると実行時間が長くなることがわかりました。時間の増加の原因を知りたいのですが、コンバイナーを使用する場合は常にそうですか?
ありがとうございました
hadoop - なぜHadoopでreduce_input_recordsがcombine_output_recordsより少ないのですか?
コンバイナーで WordCount の例を実行します。実行結果は次のとおりです。
2 つ質問map_output_recordsがありcombine_input_recordsます。そして、なぜ はreduce_input_recordsよりもはるかに少ないのcombine_output_recordsですか? コンバイナが数回呼び出される可能性があることはわかっていcombine_output_recordsますが、最後の呼び出しの結果ではないはずですか? レデューサーが消費するレコードの数と等しくないのはなぜですか?
助けてくれてありがとう！