皆さん、ML モデル呼び出しに基づいてレコメンデーションを生成するアプリケーションを作成しています。アプリケーションにはさまざまなモデルがあり、そのうちのいくつかは順番に呼び出す必要があります。データ サイエンティストは、システムにモデルをアップロードできる必要があります。つまり、アプリケーションには、モデルのメタデータとモデル サーバーのアドレスを格納するロジックが必要です。モデル サーバーは、モデルのアップロード イベントで動的にインスタンス化されます。ここで TensorFlow Serving のクラスターを使用したいのですが、アーキテクチャの問題が山積しています。TensorFlow サーバーのサービス レジストリのようなものを持つ方法はありますか? このような異なるモデルのサーバーのクラスターを構築する最善の方法は何ですか?
質問する
126 次
1 に答える
0
あなたが何をしようとしているのか、明確にする必要があります。すべてのモデルの特徴ベクトルは同じですか? そうでない場合、これを行うのはかなり難しくなります。トレーニング済みのモデルは、SavedModel 形式でカプセル化されます。アンサンブルをトレーニングしようとしているように聞こえますが、一部のモデルが凍結されていますか? 必要に応じて、Trainer への入力の一部として推論リクエストを行うカスタム コンポーネントを作成することもできます。
更新 1 以下のコメントから、探しているのは、たとえば Istio などのサービス メッシュのようです。これは、コンテナー内で実行されているサービス間の接続、およびユーザーとサービス間の接続を管理するのに役立ちます。この場合、モデルを実行する tf.Serving インスタンスがサービスになりますが、基本的な要求と応答のパターンは同じです。それは役に立ちますか？
于 2019-11-20T14:50:43.907 に答える