hadoop - Hadoop マッパーは一意のキーを発行します。マップごとにレデューサーを実行できますか?

Question

私のマッパーは「一意のキー」と「非常に大きな値」のペアを出力します。

私のレデューサーは、キーが一意であることを知りません。したがって、リデューサーはすべてのマッパーが完了するまで待機します。

コンバイナーを使用しようとしましたが、レデューサーが非常に複雑であるため、簡単な解決策ではありません。

私の質問は、マップごとにレデューサーを実行するにはどうすればよいですか? コンバイナーを使わずに。

Answer 1

キーが一意の場合、キーを減らす必要はありません。したがって、レデューサーコードをマッパーにコピーアンドペーストし、レデューサー番号をゼロに設定するだけです。ところで、reduce ステップを必要としない多くの map reduce ジョブがあるので、それは奇妙なことではありません。

Answer 2

キーが一意であることが事前にわかっている場合は、すべてのコードをレデューサーステップからマップに移動し、そこですべての作業に移動できます。

Answer 3

あなたの質問がわかりません。ジョブ構成でコンバイナーを指定することはできません。