コンバイナーが適しているユースケースと、コンバイナーが適していないユースケースは何ですか。コンバイナーの機能は認識していますが、コンバイナーが意味を持つさまざまなユースケースを理解しようとしています。
3 に答える
0
以下のファイルは
file1 です:
this is a book
this is a bookshelf
Map o/p :
この 1
は 1
a 1
book 1
this 1
is 1
a 1
bookshelf 1
ネットワークでのこのような巨大なデータ転送を回避するために、通常のレデューサー コードであるコンバイナーが使用されるため、カスタム コンバイナーを作成する場合、マップ o/p は次のようになります。
この 1,1
は 1,1 です
1,1
本 1
本棚 1
そのため、ネットワークからレデューサー ノードへのデータ転送が少なくなります。
2.パフォーマンスの低下について：上記の例では、ファイル内の合計行が非常に大きい場合、大きなデータ転送を避けるよりもコンバイナーが便利ですが、合計行が2つだけの場合、コンバイナーは実行のオーバーヘッドを追加します.
于 2015-11-02T17:29:55.913 に答える