問題タブ [google-cloud-pubsub]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-cloud-pubsub - Google クラウド pub/sub レイテンシとは
非常に低いレイテンシー (リアルタイム ゲーム) を必要とするアプリケーションがあります。現在、私のソリューションでは、メッセージがクライアント フロントエンド サーバーから宛先サーバーにルーティングされるまでに 2 ミリ秒もかかりません。
Google Cloud Pub/Sub でメッセージをあるサーバーから別のサーバーにルーティングするのにどれくらいの時間がかかるか知っている人はいますか? ありがとうございました！
gcloud - DataProc クラスタの Google Cloud Sdk
google-dataproc クラスタから pub-sub などの python google cloud api を使用/インストールする正しい方法は何ですか? たとえば、クラスターで zeppelin/pyspark を使用していて、pub-sub API を使用したい場合、どのように準備すればよいですか?
デフォルトのクラスタ プロビジョニング中に何がインストールされ、何がインストールされていないのか、Google クラウド API 用の Python ライブラリをインストールする必要があるかどうか、またはその方法が不明です。
さらに、セットアップにはスコープ/認証が必要な場合があることを認識しています。明確にするために、API をローカルで使用することはできますが、クラスターから API にアクセスできるようにする最もクリーンな方法が何であるかはわかりません。不要な手順は実行したくありません。
google-app-engine - AppEngine での PubSub プッシュ メッセージの認証
アプリ エンジンが受信したメッセージが Google PubSub サービスからのものであることを確認する方法はありますか? 現在、PubSub サービスは、appengine app.yaml で「login: admin」として構成された URL で 302 を取得します。したがって、再試行し続けます。
これが Appengine のタスクのように動作し、「login:admin」URL に対して自動的に認証されることを期待していました。
google-cloud-storage - DoFn を使用した Cloud Dataflow を使用して PubSub から Google Cloud Storage に書き込む
Google Cloud Dataflow を使用して Google Cloud Storage に Google PubSub メッセージを書き込もうとしています。TextIO/AvroIO がストリーミング パイプラインをサポートしていないことは知っています。ParDo/DoFnただし、[1] で、著者によるコメントで、ストリーミング パイプラインで GCS に書き込むことができることを読みました。私は彼らの記事をできる限り厳密にフォローして、パイプラインを構築しました。
私はこの動作を目指していました：
- メッセージが でパブリッシュされた時間に対応するパスの下にある GCS のオブジェクト (ウィンドウ ペインごとに 1 つ) に最大 100 のバッチで書き出されたメッセージ
dataflow-requests/[isodate-time]/[paneIndex]。
私は異なる結果を得ます：
- 1 時間ごとのウィンドウには 1 つのペインしかありません。したがって、1 時間ごとの「バケット」で 1 つのファイルしか取得できません (これは実際には GCS のオブジェクト パスです)。MAX_EVENTS_IN_FILE を 10 に減らしても違いはありませんが、ペイン/ファイルは 1 つだけです。
- 書き出されるすべての GCS オブジェクトには 1 つのメッセージしかありません
- GCS への書き込み時にパイプラインで CRC エラーが発生することがあります。
これらの問題を修正して、期待どおりの動作を得るにはどうすればよいですか?
ログ出力の例:
これが私のコードです：
[1] https://labs.spotify.com/2016/03/10/spotifys-event-delivery-the-road-to-the-cloud-part-iii/
解決策を提供してくれた Sam McVeety に感謝します。読んでいる人のための修正されたコードは次のとおりです。
go - Golang で Google PubSub を使用する。サービスをポーリングする最も効率的な (コストの) 方法
AMQP から Google の Pubsub に移行中です。
ドキュメントは、コンピューティング エンジンを使用しており、ワーカーを開いてプッシュ サービス経由で受け取ることができないため、プルが最適な選択肢である可能性があることを示唆しています。
また、pull は使用状況に応じて追加のコストが発生する可能性があるとも述べています。
ポーリングを使用する場合、接続を頻繁に開いてすぐに閉じると、ネットワークの使用率が高くなる可能性があります。
次のようにループで実行されるテスト サブスクライバーを go で作成しました。
私が持っている質問は、これがメッセージをプルするための正しい/推奨される方法であるかどうかです。
1 日を通して 1 秒あたり約 100 メッセージを受信します。無限ループで実行すると倒産するかどうかはわかりませんし、他に適切な実行例を見つけることができません.
google-compute-engine - Cloud pub/sub キューに基づく GCE インスタンス グループの自動スケーリング
GCE インスタンス グループは、Google Cloud PubSub キュー数または PSQ などの他の非同期タスク キューに基づいてスケールアップまたはスケールダウンできますか?