問題タブ [google-cloud-dataflow]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

4588 問題

0 投票する

1 に答える

130 参照

google-cloud-dataflow - Cloud Dataflow 自動スケーリングメッセージ

FAQによると、ワーカープールをスピンアップするとき、自動スケーリングはデフォルトでオフになっています。「numworkers」を 5 に設定し、enum を使用してアルゴリズムタイプを「NONE」に設定しました。AutoscalingAlgorithmType

ただし、ジョブの実行中に次のメッセージがまだ表示されます。

(f8775c76163306ae): 自動スケーリング: ワーカープールのサイズを 0 から 1 に変更しています。

私たちの知る限り、問題は発生していませんが、なぜこれが発生しているのか、意図したものかどうかを知りたいのですが?

google-cloud-dataflow

2015-04-07T11:09:22.327

0 投票する

4 に答える

1549 参照

google-cloud-dataflow - Google Cloud Dataflow: DirectPipelineRunner (ローカルジョブ) を使用してパイプラインで Google Cloud Pub/Sub にアクセスしていますか?

Google Cloud Dataflow SDK を使用してストリーミングパイプラインを作成しましたが、パイプラインをローカルでテストしたいと考えています。私のパイプラインは、Google Pub/Sub から入力データを受け取ります。

DirectPipelineRunner を使用して Pub/Sub (pubsubIO) にアクセスするジョブを実行することはできますか (Google Cloud ではなくローカルで実行)?

通常のユーザーアカウントとしてログインしているときに、アクセス許可の問題が発生しています。アクセスしようとしている pub/sub トピックのプロジェクトの所有者です。

google-cloud-dataflow google-cloud-pubsub

2015-04-07T21:36:17.617

0 投票する

1 に答える

1619 参照

google-cloud-dataflow - ゾーン「asia-east1-[abc]」のリソース枯渇が増加

私たちはオーストラリアに拠点を置いているため、Cloud Dataflow パイプラインを実行するために選択する論理ゾーンは、SEA ゾーンの 1 つ、つまり asia-east1-x です。

ここ数日、リクエストを満たすのに十分なリソースがゾーンにないというエラーが発生しています。

2015-04-13T04:36:14.135Z: (87beb4ec714a2776): ワークフローが失敗しました。原因: (21d127c58eb9cdaf): ステップ setup_resource_global_gce_worker_pool2: リソース global_gce_worker_pool のセットアップに失敗しました/zones/asia-east1-a' には、要求を満たすのに十分なリソースがありません。別のゾーンを試すか、後でもう一度やり直してください。

問題が何であるかは明らかですが、ワーカープールで 5 ～ 10 個のインスタンスしか要求していません。要求する量はそれほど多くありません。

ここ数日でこのエラーが発生したのはなぜですか? また、既知の問題であり、修正されるのでしょうか?

google-cloud-dataflow