問題タブ [google-cloud-dataflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
maven - GCSUtil を使用してファイルを書き込むときにスレッド グループがまだ実行されているという Maven の警告を修正するにはどうすればよいですか?
GCSUtilを使用して GCS にテキスト ファイルを書き込む簡単なプログラムを作成しました。
mvn:exec を使用してプログラムを実行します
Maven は次のエラーで終了します
どうすればこれを修正できますか?
google-cloud-dataflow - Dataflow で CharSequence をシリアル化するには?
CharSequence オブジェクトをシリアル化/逆シリアル化するために使用できる既存のコーダーはありますか? カスタム コーダーを作成する必要がありますか。
入力と出力として CharSequence を使用する関数がたくさんあります。この関数を DoFn に変換するために使用できる汎用の Dataflow 変換を作成したいと考えています。
google-cloud-dataflow - DoFn をシリアル化できない Dataflow を修正するにはどうすればよいですか?
Dataflow パイプラインを実行すると、以下の例外が発生し、DoFn をシリアル化できないと不平を言います。これを修正するにはどうすればよいですか?
スタック トレースは次のとおりです。
google-cloud-dataflow - Dataflow のワーカー数を指定するにはどうすればよいですか?
約 90 GB の大きなインポート ファイルをロードする Apache Beam パイプラインがあります。Apache Beam Java SDK でパイプラインを作成しました。
のデフォルト設定を使用するPipelineOptionsFactoryと、ジョブが完了するまでにかなりの時間がかかります。
ジョブの並列処理、つまりワーカー数を制御し、プログラムで指定するにはどうすればよいですか?
hadoop - Google の Dataflow を使用して Hadoop MR ジョブを実行することは可能ですか?
Google の Dataflow サービスを使用して Hadoop MR ジョブを実行することはできますか?
Dataflow サービスで実行できるようにしたい Hadoop MR ジョブがいくつかあります。Hadoop ジョブを完全に書き直さなくても、Dataflow サービスを利用できるようにしたいと考えています。