hadoop - Hadoop Pig: コマンドライン引数を渡す

Question

これを行う方法はありますか？たとえば、処理するファイルの名前を渡しますか?

Answer 1

これは別の質問で示されましたが、コマンドラインで入力パラメーターを指定して、読み込み時にそれを使用できます。たとえば、次のようになります。

コマンドライン：

pig -f script.pig -param input=somefile.txt

script.pig:

raw = LOAD '$input' AS (...);

Amazon Web Services Elastic Map Reduce を使用している場合、'$input' は、提供する入力のスクリプトに渡されるものであることに注意してください。

Answer 2

はい。

pig のparamオプションを使用して、コマンドライン オプションに沿ってパラメーターを渡すことができます。

--customparam.pig
--load hdfs/local fs data 
 original = load '$input' using PigStorage('$delimiter');
--filter a specific field value into another bag  
 filtered = foreach original generate $split; 
--storing data into hdfs/local fs 
  store filtered into '$output';

pig -x local -f customparam.pig -param input=Pig.csv -param output=OUT/pig -param delimiter="," -param split='$1'

詳細については、これを確認してください