問題タブ [app-engine-flexible]

私の単純な Dataflow パイプラインは、ほとんどの場合、1 つのプロジェクトのデータストアから別のプロジェクトに複数の種類を正常にコピーします。しかし、特定の種類 (それらの約 5%) では、常にこれらのエラーが発生します。

データフローは約 75 秒の遅延で 4 ～ 8 回再試行し、その後パイプラインが失敗します。

これを診断して解決するにはどうすればよいですか?

編集: 答えは次のとおりです。(1) Dataflow で使用されるデータストア ライブラリにバグがありました。彼らがこのバグを修正した後、根本的な原因を確認できます。また、(2) このライブラリにエンティティを配置するためのデフォルトのバッチ サイズは 500 であり、これは最大でもあり、Datastore API の制限である 10 Mb を超えています。

(非常に単純な) パイプラインは次のようになります。

最初のスタックトレース

また

Python アプリを App Engine スタンダード環境から App Engine フレキシブル環境に移植しようとしています。App Engine のドキュメントの指示に従って、次のように app.yaml ファイルを「python-compat」モードを使用するように変更しました。

デプロイ時に、アプリケーションから (NDB API を使用して) データストアを呼び出そうとすると、次のトラックバック (切り捨てられた) が発生します。

問題は何ですか？私が知る限り、App Engine のドキュメントには、python-compat ランタイムを使用して NDB をセットアップするための特別な指示はありません。

firebase と app engine を組み合わせて使用​​するプラットフォームをホストしています。アプリ エンジン ノードの JS サーバーは、firebase の場所の変更をリッスンし、データの処理を行います。ただし、スケーリングのために、1 つではなく 2 つのインスタンスが突然発生し、データの重複処理が発生しました。1 つのインスタンスを手動でスケーリングするためのいくつかの提案を見てきましたが、それは実際にはスケーラブルではありませんか?

柔軟なソリューションを使用した代替ソリューションはありますか? Firebase-queues とhttps://cloud.google.com/solutions/mobile/mobile-firebase-app-engine-flexibleについては、すでに少し読んでいます。サーバーで処理する必要がある更新に REST を使用する場合と比較して、これらの経験がある人はいますか?

dispatch.yaml に関するさまざまなページを見ていますが、そのほとんどに同様の情報と例が含まれています。

https://cloud.google.com/appengine/docs/flexible/nodejs/how-requests-are-routed#routing_with_a_dispatch_file https://cloud.google.com/appengine/docs/python/config/dispatchref https:// cloud.google.com/appengine/docs/go/config/dispatchref など。

私はたまたま GAE フレキシブル環境で node.js を使用していますが、どの言語や環境でも同じだと思います。

問題は、これらのページが実際には dispatch.yaml の動作を指定していないことです。特に：

1. ルールは指定された順序で適用されますか? 最初に一致するルールが使用されていると想定していますが、そうは言っていないようです。
2. 先頭のグロブ (ワイルドカード) 文字はドメイン名のみに一致しますか? それとも URL のパスの最初の部分に一致しますか? ルールが の場合、*/helloそれは一致しmyapp.appspot.com/path/helloますか? ドキュメントの漠然としたヒントに基づいて、そうではないと思いますが、あまり明確ではありません。
3. dispatch.yaml のルールが URL と一致しない場合、デフォルト サービスにルーティングされますか? そうしなければならないと思いますが、繰り返しになりますが、これらのページには記載されていません。
4. URL は、サービスに送信される前にルールに基づいて書き換えられますか? ルールが*/path/*で URL が の場合https://myapp.appspot.com/path/hello、サービスはそれを と見なします/path/helloか/hello? 私は前者を推測しています。

現在試行錯誤中ですので、自問自答も近いうちにできるかもしれません。また、ドキュメント フィードバック システムを通じて Google にも送信しています。

App Engine フレキシブル環境で実行されているデフォルト サービス内でリモート コマンドを実行する方法が必要です。移行の実行を (データベースに直接接続する以外に) 確認できる唯一の方法は、インスタンスをデバッグするように設定し、インスタンスに SSH で接続し、docker コンテナーにアタッチし、最後に管理コマンドを実行することです。

より良い方法はありますか？

App Engine フレキシブルの GA (一般提供) の日付が多かれ少なかれ決まっているかどうか知っていますか? 現在、App Engine フレキシブル環境で本番環境を推進する場合、最悪のシナリオはどのようなものでしょうか? 他よりも起こりやすいのはどのような失敗ですか？

App Engine フレキシブル環境を使用しているときに、選択したファイルを更新する方法はありますか?

app.yaml ファイルに小さな変更を加えるたびに、問題に直面しています。それをテストするには、アプリケーション全体をデプロイする必要があり、これには 5 分ほどかかります。

構成ファイルのみを更新する方法はありますか? または、これらのファイルをローカルでテストする方法はありますか。

ありがとう！

App Engine フレキシブルは nginx.health_check ログを作成します。失敗したヘルス チェックだけでなく、すべてのヘルス チェック リクエストをログに記録します。ヘルス チェックの間隔が 10 秒未満の場合、ログはわずか数日で数ギガに拡大する可能性があります。失敗したチェックのみを記録するか、ログを完全に無効にするように構成する方法はありますか?