問題タブ [google-ai-platform]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Python を使用して統合 AI プラットフォームのエンドポイント設定を編集する方法は?
ModelUnified Cloud AI Platform でエンドポイントを正常に作成し、それに 2 つの をデプロイしました。トラフィックはそれぞれ 20% と 80% ですModel A。ここで、Cloud Console (UI) で[設定を編集]Model Bのオプションを取得し 、トラフィック分割をそれぞれ 30% と 70% に変更すると、s がデプロイされます。ただし、Python クライアント API を使用してこれを行う方法がわかりません。Model
ここで提供されているドキュメントは、これを行う方法を理解するには不十分です。どんな助けでも大歓迎です。
google-cloud-platform - バージョンが呼び出されるたびに AI プラットフォームの依存関係をインストールする
コールド スタートが原因と思われる予測のモデル呼び出しでタイムアウトの問題があります。モデルのノードは、呼び出されるたびに依存関係をインストールしているように見えます (minNodes が 1 の場合)。問題は、複数のバージョンがある場合にのみ発生しました。それ以外の場合、依存関係を再インストールせず、120 秒のタイムアウトを行うのではなく、1 秒で予測しています...より高い minNodes または何かを配置する必要がありますか?
誰かが問題を抱えていて、解決策 (または推奨事項) を持っている場合、私は本当に興味があります;)
ありがとう
google-cloud-platform - GCP AI Platform 統合 - AutoScaling
GCP AI Platform Unifiedのドキュメントには、次のように書かれています。
GPU を使用するように予測ノードを構成した場合でも、AI Platform は CPU 使用率に基づいてノードをスケーリングします。したがって、予測スループットによって GPU 使用率が高くなり、CPU 使用率が高くならない場合、ノードは期待どおりにスケーリングされない可能性があります。
GPU の使用状況に基づいてどのようにスケーリングしますか?