hadoop - Pig-Latin Script で複数のストアを処理する方法

Question

次のような入力を含む豚のスクリプトがあります。

| | コルA | B列 | C列 | D列 | E列 |

さまざまな列でグループ化された次のような関係があります。

X = 列 A | 合計列 C | 合計列 D|

Y = 列 B | 合計列 D | 合計列 E|

Z = ...

等

次に、X、Y、Z を別のフォルダーに保存する必要があるため、STORE を複数回呼び出すことになります。Pig は、データを 1 回だけロードして処理し、その後ストアを実行する方法を知っていますか?

Answer 1

入力は 1 回だけ読み込まれますが、それぞれGROUP BYに個別の MapReduce ジョブが必要です。

この例では、グループ化しCol AてCol Bいるため、スクリプトは 2 つのジョブにコンパイルされます。

Answer 2

はい、Pig はその方法を知っています。MRジョブは1つだけです。