多くの並列プロセスを含む AI Platform パイプラインを構築しました。各プロセスは、次のように AI プラットフォームでトレーニング ジョブを起動します。
gcloud ai-platform jobs submit training ...
次に、ジョブが終了して次のステップに進むまで待機する必要があります。--stream-logsこれを行うために、上記のコマンドにパラメーターを追加しようとしました。このようにして、ジョブが完了するまですべてのログをストリーミングします。
問題は、非常に多くの並列プロセスがあるため、ログを取得するためのリクエストが不足していることです。
Quota exceeded for quota metric 'Read requests' and limit 'Read requests per minute'
of service 'logging.googleapis.com'
ただし、実際にログをストリーミングする必要はありません。トレーニング ジョブが完了するまでプロセスに「待機」するように指示する方法が必要なだけです。これを行うためのよりスマートで簡単な方法はありますか?