私たちのジョブ/パイプラインは、ParDo 変換の結果を GCS に書き戻しています。TextIO.Write.to("gs://...")
ジョブ/パイプラインが完了すると、出力バケットに多数の 0 バイト ファイルが残ることに気付きました。
パイプラインへの入力は GCS からの複数のファイルからのものであるため、結果が分割されていると想定していますが、これで問題ありません。
しかし、なぜ空のファイルが得られるのでしょうか?
私たちのジョブ/パイプラインは、ParDo 変換の結果を GCS に書き戻しています。TextIO.Write.to("gs://...")
ジョブ/パイプラインが完了すると、出力バケットに多数の 0 バイト ファイルが残ることに気付きました。
パイプラインへの入力は GCS からの複数のファイルからのものであるため、結果が分割されていると想定していますが、これで問題ありません。
しかし、なぜ空のファイルが得られるのでしょうか?