ポスト リクエストでエンドポイント (/predict など) に送信されたデータに対して機械学習モデルを実行する単純なフラスコ アプリケーションがあります。フラスコ アプリは、本番環境でデフォルトのパラメーターを使用してウェイトレスを使用します。予測には時間がかかる可能性があるため、アプリケーションに準備完了エンドポイントがあり、ウェイトレス タスク キューが一定の数 (5 としましょう) を超えた場合に、準備ができていない 50x ステータス コードで応答したいと考えています。
ウェイトレスのタスク キューのサイズを取得する方法を知る必要があります。ウェイトレスは「Task queue depth is 94」を標準出力に記録しますが、プログラムで値にアクセスする方法が見つかりません。次に、その数を使用して、サーバーがより多くのリクエストに応答する準備ができているかどうか、または新しいインスタンスをスピンアップする必要があるかどうかを判断します.