hadoop - 豚の動的タプル?

Question

豚のタプルでデータを取得しました

   0,(0),(zero)
   1,(1,2),(first,second)

これを受け取れますか？

   0,0,zero
   1,1,first
   1,2,second

Answer 1

まず、用語を修正します。 and をタプルではなくバッグとして扱う必要があり(0)ます(1,2)。タプルは、ある種のエンティティを表す固定長のデータ構造を意図しています。(name, address, year of birth)たとえば、と言います。のような類似オブジェクトのリストがある場合は{(apple), (orange), (banana)}、バッグが必要です。

---

複数のバッグ/リストを「圧縮」できる動作はありません。この理由は、設計の観点から、Pig はバッグを順序付けられていないリストとして扱うため、「バッグ」という用語は「リスト」ではありません。順序を考慮する必要がないため、この仮定は並列処理に非常に役立ちます。1したがって、と一致させるのは非常に困難firstです。

---

試してみることができるのは、パラメーターとして 2 つのバッグを受け取り、2 つのリストを圧縮してから、バッグを圧縮した状態で 1 つを返す評価関数 UDFを作成することです。