apache-pig - pig ジョブの出力を、データから派生したディレクトリ構造に保存します

Question

私は次のことを達成したいと思います：

私の入力データは次のようになります

{"metadata":
{
"producerName":"capture_api",
"producerVersion":"3.0.13"
},
"payload":
{
--some payload 
}
}

次のように、豚のスクリプトを使用してこのデータをバケットに入れたいと思います

/finalOutputDir/producerName/producerVersion/File.txt

これを行う方法はありますか。MultiStorage 関数を使用してみましたが、そのクラスは 1 つのフィールドしかサポートしていません。マルチステージ内の機能をオーバーライドできますが、より簡単なオプションがあるかどうかを確認したかっただけです。

Answer 1

piggybank MultiStorageは、データを (1 つだけ?) フィールドによって複数のフォルダーに分けることができます。

STORE data INTO '$out/$producerName' USING org.apache.pig.piggybank.storage.MultiStorage('$out/$producerName', '0', 'none', ',');