レデューサーの代わりにアグリゲーター関数の 1 つを使用する場合、Hadoop はコンバイナーフェーズに同じ関数を使用するほどスマートになりますか?
質問する
735 次
1 に答える
0
それらは部分的に同じ目的を果たしますが、アグリゲーターはより一般的であり、コンバイナーができない場合に使用できます。
アグリゲーターがコンバイナーとして自動的に使用されることはありません。コンバイナとして使用する場合は、そのように指定する必要があります。
cascade からの引用 "コンバイナーは、'sum' や 'max' などの連想関数と可換関数のみに制限されています。また、機能するためには、Map タスクから出力された値をシリアル化し、並べ替え (逆シリアル化して比較)、再度逆シリアル化し、 "で操作
于 2013-05-16T00:11:00.813 に答える