google-cloud-dataflow - Dataflow でユニオンを実行するにはどうすればよいですか?

Question

Dataflow でユニオン操作を実行しようとしています。Dataflow で 2 つの PCollection を結合するためのサンプル コードはありますか?

Answer 1

これを行う簡単な方法は、Flatten() と RemoveDuplicates() をこのように組み合わせることです。互いに素な和集合または集合論的和集合が必要かどうかに応じて、RemoveDuplicates 呼び出しを省略できます。

PCollection<String> pc1 = ...;
PCollection<String> pc2 = ...;
PCollection<String> union = PCollectionList.of(pc1).and(pc2)
  .apply(Flatten.<String>pCollections())
  .apply(RemoveDuplicates.<String>create());