問題タブ [serving]

現在、テンソルフロー モデルをスケーラブルな方法で提供するという課題に取り組んでいます。私の知る限り、推奨される解決策は、標準のTensorFlow ModelServerを使用することです。一般的な要件はこれでかなりうまく処理されますが、もっと欲しいです。「制限」のようなパラメーターを解析して、上位 n ロジット + 返される確率を定義することにより、転送されるデータ量を減らしたいと考えています。

調査中に、次の解決策を特定しました。

1) モデルの構築中に、より高度な SignatureDef を作成します。

2) 上記の機能を使用して、基本的なtensorflow/servingプロジェクトをカスタマイズします。

3) 標準の Tensorflow Modelserver でモデルを提供し、resp を再構築するための後処理サービスを構築します。定義済みの方法で結果をフィルタリングします。

私よりも経験豊富な人が私の質問について詳しく説明してもらえますか? - コードスニペットまたはリンクは素晴らしいでしょう。

前もって感謝します。

ログインしているユーザーに静的コンテンツ (主に画像) を提供する必要がありますが、それらの画像を公開することはできません。

クライアントには基本的な JWT 承認があります。これらのクライアントにはイメージがありますが、それらのイメージは非公開にする必要があります (イメージを所有するユーザーのみがアクセスできます)。

私の画像は、CDN のように機能する 2 番目の Node.js サーバー (キャッシュ、ヘッダーなしなど) によって提供されます。

http://static.example.com/image.jpg?token=jwtjwtjwtkwtjwtのような URL で JWT を送信することを考えていましたが、私の JWT は長く、安全ではありません。ユーザーが URL を画像に共有すると、彼も彼の JWT を共有しています。

以下は、XGBClassifier をトレーニングして保存する方法です。

これは、モデルをロードして予測を行った方法です

トレーニングが実行されたのと同じ python プロセス内からモデルが読み込まれた場合、モデルの予測は問題ありませんが、モデルがトレーニングに使用されたものとは異なる python プロセスから読み込まれた場合、予測は適切ではありません (ランダム)。

ピクルスの代わりにmodel.save_modelandを使用した場合、同じ問題が発生することに注意してください。model.load_model

私が行った簡単なチェックでは、モデルが適切に保存およびロードされていることがわかりました。のダンプmodel._Booster( 経由で取得model._Booster.dump_model(some_file)) とloaded_model._Booster同一です。

Python バージョン: 3.7.5

xgboost バージョン: 0.80 と 0.90 の両方を試しました

どんな提案でも大歓迎です。

ニューラル ネットワーク回帰モデルを作成しました。AWS を使用してデプロイしたいと考えています。私は tensorflow サービングを使用しており、モデルを保存するところまで行っています。

今、Windows 10ホームでDockerを使ってコンテナーにデプロイするためにDockerを使用しようとしています例として、複数のチュートリアルを使用しようとしましたが、このコマンドになると、何をしてもうまくいきません自分：

何かを変更するたびに、別のエラーが発生します。私は完全に途方に暮れています。簡単ですが、私のような初心者向けの完全なチュートリアルを教えてください。TensorFlow のドキュメントは既に読みましたが、エラーが続きます。私は約1か月間立ち往生しているので、どんな助けも本当に私に大いに義務付けます.