1

アクション ブックで Hadoop を調べているときに、縮小された結合に関するいくつかのクラスに出会いました。そのうちのいくつかは、DataJoinMapperBase、TaggedMapOutput、DataJoinReducerBase です。

しかし、私がGoogleを介してhadoopで結合の概念を検索したとき、それらは上記の指定されたクラスに基づいていません.代わりに、それらは独自のロジックを実装しており、多くはMultipleInputsに基づいています.

ここで私の質問は、hadoop で結合するためのより良いアプローチはどれですか?より良い結果を得るために何ができるでしょうか?これに関する提案はありますか?

4

1 に答える 1

0

Pangoolライブラリを試すことができます。サイド ジョインを非常に簡単に減らすことができます。マップ側の結合は単なるメモリ ルックアップです。

于 2013-08-22T08:22:20.340 に答える