0

map reduce chaining について助けが必要です。このような map reduce chain があります。

map->reduce->map

レデューサーの出力を最後のマッパーで使用したい

たとえば、私のレデューサーでは、従業員の最大給与を取得しています。この値は次のマッパーで使用され、その最大給与値を持つレコードを見つけることになっています。したがって、明らかに最後のマッパーはレデューサーの出力を取得し、ファイルの内容は?それは可能ですか?どうすれば問題を解決できますか?何か良い解決策はありますか?

4

1 に答える 1

0

私は問題を理解したかどうか確信が持てませんが、私は助けようとします.
従業員の給与を含む一部の入力 (input1 と呼びます) を出力 (output1 と呼びます) に減らしました
Key: someEmployee Value: max salary。
そして、別のマッパーに、input1 と output1 の両方からデータをマップさせたいですか?
もしそうなら、あなたにはいくつかのオプションがあるので、あなたのニーズに応じて1つを選ぶことができます.

  • 最初の減速機出力を操作します。形式でoutput1を作成する代わりに、
    Key: someEmployee Value: max_salary@@salary_1,salary_2,salary_3...salary_n
    新しいジョブを作成し、新しいマッパー入力をoutput1として設定します。

  • 複数の入力を 1 つのマッパーに取得する方法を説明するこの問題を読んでみてください

于 2013-08-19T10:56:27.577 に答える