各ファイルのスキーマが N 個の異なるスキーマのいずれかである可能性がある場合、Avro ファイルから PCollection を構築するにはどうすればよいでしょうか?
すべての avro ファイルに一致する glob パスを指定するだけで、ファイルごとに新しい Avro ソースを構築するのではなく、単一の Avro ソースを使用したいですか?
1 に答える
1
これを行う簡単な方法は、Avro ソースを使用し、そのようなすべてのファイルの結合であるスキーマを指定することです。これにより、レコードが GenericReccords であり、スキーマがすべての異なるスキーマの結合である PCollection が生成されます。次に、ParDo 操作を適用して、それらを任意の表現に変換できます。
ここに完全な例があります
于 2015-01-15T05:54:59.750 に答える