問題タブ [google-cloud-dataflow]

同時データフロー ジョブ (コアではなく) の数に制限はありますか? 並行して実行するために最大 40 個の小さなジョブを送信しようとしましたが、7 個のジョブの後で 429 Rate Limit Exceeded エラーが発生し始めました。

ありがとう、G

ジョブが完了に近づくと、次のエラーが表示されます。

その後、ワーカー インスタンスは削除されず、手動で強制終了する必要があります。

既知のバグですか？

ありがとう、G

カスタム パッケージを使用して Dataflow ワーカーをプロビジョニングすることはできますか? 計算内から Debian パッケージ化されたバイナリにシェルアウトしたいと思います。

編集：明確にするために、パッケージ構成は非常に複雑であるため、ファイルを --filesToStage にバンドルするだけでは実行できません。解決策には、ある時点で Debian パッケージをインストールする必要があります。

DoFn で独自のカウンターを作成するにはどうすればよいですか?

私の DoFn では、レコードを処理するときに条件が満たされるたびにカウンターをインクリメントしたいと考えています。このカウンターですべてのレコードの値を合計したいと思います。

AvroCoder.isDeterministicは false を返します。

AvroCoder が決定論的でないのはなぜですか? Avro レコードは常に同じバイト ストリームにエンコードされませんか?

Avro Coder は決定論的ではないため、Avro レコードを group by 操作のキーとして使用することはできません。Avro レコードをキーに変換する最良の方法は何ですか? Avro レコードの json 表現をそのまま使用する必要がありますか?

AvroCoderに基づくカスタム コーダーAvroDeterministicCoderを作成しようとしていますが、isDeterministic に対して true を返します。

サンプルの Dataflowでは、このコーダーをすべての PCollection に登録します。ただし、テストを実行すると、例外がスローされます。 the key coder must be deterministic for grouping.

デバッガーを使用すると、コーダー AvroCoder を使用していることがわかります。

AvroDeterministicCoderでは、 AvroDeterministicCoderを AvroCoder としてではなくAvroDeterministicCoderとして逆シリアル化するコードを追加する必要があり ますか?

DataflowAssert を使用する Dataflow unittest を実行すると、例外が発生します

この例外を修正するには、pom ファイルにどのような依存関係を追加する必要がありますか?

私は Google Compute Engine を初めて使用するので、これはおそらく初歩的な失敗です。

GitHub プロジェクトから WordCount の例を実行しようとしています。DirectPipelineRunner は正常に動作しますが、BlockingDataflowPipelineRunner を使用しようとすると、「Bad Request」エラーが発生します。注、私は経由で認証されてgcloud auth loginいます。

コマンドラインとその後のエラーは次のとおりです。

Maven 3、Java 8、および Ubuntu 14.04 を使用しています。

何か案は？

編集:おそらく私は適切に認証されていませんか? エラーにはこのリンクが含まれています。ローカル ランナーを使用して gs://theia に書き込むことができ、Google Cloud プロジェクト コンソールに [Dataflow] タブが表示されるので、これは奇妙です。