apache-pig - 他のファイルと比較して豚の tsv ファイルをフィルター処理する

Question

タブで区切られた行ごとに 2 つの列がある巨大なファイルがあります。

各行に 1 つずつ、値のリストを持つ別のファイルがあります。

ここで、最初の列が 2 番目のファイルに存在するすべての行を取得するように、最初のファイルをフィルター処理します。

豚でそれを行う方法は？

Answer 1

内部結合を使用できます。

A = LOAD 'file1' USING PigStorage('\t') AS (f1:int, f2:int);
B = LOAD 'file2' USING PigStorage(',') AS (f3:int);

C = JOIN A BY f1, B BY f3;
DUMP C;