約 90 GB の大きなインポート ファイルをロードする Apache Beam パイプラインがあります。Apache Beam Java SDK でパイプラインを作成しました。
のデフォルト設定を使用するPipelineOptionsFactoryと、ジョブが完了するまでにかなりの時間がかかります。
ジョブの並列処理、つまりワーカー数を制御し、プログラムで指定するにはどうすればよいですか?
2693 次
約 90 GB の大きなインポート ファイルをロードする Apache Beam パイプラインがあります。Apache Beam Java SDK でパイプラインを作成しました。
のデフォルト設定を使用するPipelineOptionsFactoryと、ジョブが完了するまでにかなりの時間がかかります。
ジョブの並列処理、つまりワーカー数を制御し、プログラムで指定するにはどうすればよいですか?