問題タブ [google-cloud-pubsub]

私が読んだ DataFlow によると、Pub/Sub データソースは、パイプラインで処理するメッセージ本文のみを提供します。特定の決定を下すためにメッセージの属性を調べたいユースケースがあります。現在これを達成する方法はありますか？必要に応じて、Pub/Sub I/O を拡張してこれを組み込むことができます。

Google アプリ エンジンで実行されているサーブレットにメッセージをプッシュするように Google pubsub を構成しようとしています。

トピックに投稿できました。gcloud を使用してプル サブスクリプションを介して取得できるため、これが機能していることはわかっています。

Web ブラウザから App Engine でサーブレットを呼び出すこともできます。しかし、何らかの理由で、サーブレットが必要なときに pubsub を呼び出すように説得することができないようです。

サーブレットを正しく構成したと思います。
私の web.xml ファイルの関連部分は次のとおりです。

エラーの原因を示す可能性のあるログ データにアクセスできないため、デバッグが困難です。メッセージはエーテルの中に消えていきます。

pubsub トピックとサブスクリプションは、アプリ エンジン インスタンスと同じプロジェクト内にあります。

"サブスクライバー ガイド" で、私が少し混乱しているのは、次のステートメントです。

現在サポートされている唯一のエンドポイントは、Webhook 配信を受け入れることができる HTTPS サーバーです。

「Webhook 配信」が正確に何を意味するのかはわかりません。

特定のトピックにサブスクライブし、指定された間隔で新しいメッセージをポーリングするタスクをスケジュールする pubsub ポーラーを実装しました。

ときどき UnknownHostException が発生し、メッセージが受信されないことがある -

openwrt Linux を実行している組み込みデバイスのグループがあります。このデバイスは、POST を使用して 3 分ごとにデータ (json) を URL に送信します。デバイスの数が増えているため、データのストリーミング分析を行う前に、Google pub/sub サービスを使用してそのデータを処理したいと考えています。

しかし、トピックに何かを公開しようとするたびに、次のエラーが発生します。

サービス アカウントを作成し、URL の末尾に ID キーを追加しようとしましたが、結果は同じです。私は何をすべきか？ありがとう

Googleはここで質問に答えました

https://cloud.google.com/pubsub/faq

しかし、それぞれがどのシナリオに使用されるのかはまだ不明です。

GCM ではできないことで pub sub でできることはありますか?

プロジェクトで Google Pub/Sub を使用しようとしています。属性値の制限を超えているため、エラーが発生しました。

メッセージ: クライアント エラー:応答POST https://pubsub.googleapis.com/v1/projects/<project>/topics/<topic>:publishが発生しました400 Bad Request: { "エラー": { "コード": 400、"メッセージ": "要求の属性の 1 つに長すぎる値があります。l (切り捨てられた...)

https://cloud.google.com/pubsub/docs/のドキュメントを読みましたが、見つかりませんでした。

https://cloud.google.com/monitoring/api/v3/metrics#time-seriesから文書化

メトリック データは、監視対象のリソースによって異なるスケジュールで収集されます。一部のデータは Stackdriver Monitoring によってモニタリング対象リソースから定期的に「プル」され、一部のデータはアプリケーション、サービス、または Stackdriver Monitoring エージェントによって「プッシュ」されます。

Stackdriver が Google Cloud Pub/Sub からデータを収集する方法を知りたいのですが、約束されたレイテンシ バウンドはどのくらいですか? トピック/サブスクリプションを作成してメッセージを公開しようとしましたが、メトリクスがスタックドライバーに記録されるまでの時間を監視しました。平均して約 1 ～ 2 分ですが、非常に遅く、最大 5 ～ 8 分かかる場合もあります。

「ストリーミング」モードで、Google Cloud DataFlow でパイプラインを実行しようとしています。パイプラインは PubSub トピックから読み取る必要がありますが、トピックを削除して再作成し、パイプラインの開始後にすべてのメッセージをトピックに再発行するまで、実際にはトピックから読み取りません。

パイプラインに既に発行されたメッセージを読み取らせる方法はありますか?

AppEngine Standard (SE) と Flexible Environment (FE) の両方を使用するさまざまなサービスで構成されるアプリケーションを作成しようとしています。

したがって、SE で実行され、タスクを Pub/Sub トピック (トピック A) にエンキューするサービスが必要です。次に、FE で実行する必要があるワーカーは、タスクをプルし、いくつかの計算を行い、結果を別の Pub/Sub トピック (トピック B) にエンキューする必要があります。

最後に、SE で実行される別のワーカーがトピック B からタスクを取得し、作業を続行します。

ここにある psq のドキュメントには、次のように記載されています。

タスクをキューに入れるワーカーとアプリケーションは、まったく同じソース コードを共有する必要があります。

まったく同じコードを共有する必要がある場合、異なる環境でタスクを消費する機能を備えたタスクをキューに入れる機能をどのように持つことができますか?

PULL サブスクライバーでメッセージを明示的に nack し、タイムアウト期限まで待たない方法はありますか?

私の印象では、そのような機能は存在せず、PULL サブスクライバーでサポートされている唯一のモデルは、暗黙の nack (タイムアウト) です。