google-cloud-dataflow - Dataflow GroupBy -> キーに基づく複数の出力

Question

GroupBy の出力を Group キーに基づいて複数の出力ファイルにリダイレクトできる簡単な方法はありますか?

Bin.apply(GroupByKey.<String, KV<Long,Iterable<TableRow>>>create())
.apply(ParDo.named("Print Bins").of( ... ) 
.apply(TextIO.Write.to(*Output file based on key*))

シンクが解決策である場合は、サンプル コードを私と共有していただけますか?

ありがとう！

Answer 1

Beam 2.2 には、まさにそれを行うための API が含まれます。ソースTextIO.write().to(DynamicDestinations)を参照してください。今のところ、この API を使用する場合は、2.2.0-SNAPSHOT バージョンを使用できます。この API は実験的なものであり、Beam 2.3 以降では変更される可能性があることに注意してください。