hadoop - pigでマルチパラメータを入力する方法

Question

バッチ入力するテーブルが3つありますが、pigでパラメーターを指定するにはどうすればよいですか？

たとえば、豚のスクリプトでtmp / 001.csv、tmp / 002.csv、tmp / 003.csvの場合、これらのテーブルを一度に入力するために-paramとLOADステートメントをどのように記述できますか？

誰かが私に例を挙げます

pig -param nums="'001','002','003'" test.pig

豚のスクリプトで、

LOAD 'tmp/{nums}.csv' AS ...

しかし、豚が読むのは001.csvだけのようです。

Answer 1

おそらく、もパラメータに移動する必要があります/tmp。

pig -param ins=/tmp/001.csv,/tmp/002.csv,/tmp/003.csv test.pig

LOAD '${ins}' AS ...

明らかに、リストするファイルが多数ある場合（そして、それらはすべて単純なグロブと一致する可能性があります）、これをさらに減らすことができます。

pig -param ins=/tmp/*.csv test.pig