mapreduce - map タスクと reduce タスクの順序付け

Question

"M" 個の map タスクと "R" 個の reduce タスクからなるジョブ j を持つ。

M(1) M(2)...... Map(m)
 Reduce(1) Reduce(2) ... Reduce(R)

map タスクと reduce タスクの間の順序はどのようにわかりますか? Map タスクの出力が Reduce タスクの入力になることはわかっています。しかし、注文をシミュレートしたい場合は、どうすればよいですか? 例えば

M1 M2 M3

R1 R2

「M1」と「M2」の出力を「R1」の入力、「M3」の出力を「R2」の入力にすることは可能ですか? 実際の場合、注文はどうですか？

Answer 1

次の方法でマッパーとレデューサーを注文します。

• 特定のマッパーとリデューサーを使用したジョブの構成、および
• 仕事の流れを定義する

ジョブには、任意の数のマッパーとレデューサーを含めることができます。スクリプトまたは oozie ワークフローを使用してジョブの依存関係を明示的に定義するか、ワークフロー マネージャー (Azkaban、oozie など) に、どのジョブのマッパーがどのジョブ レデューサーの出力を使用するかに基づいて依存関係を解決させることができます。