問題タブ [serving]

サーバー (gRPC サービス) にリクエストを送信する複数のクライアントがあるとします。サーバーが収集できるようにしたいと思います。たとえば、8 つの要求を収集し、これらの要求を一度に処理してから、結果のみをクライアントに送り返します。GRPC機能を使用してこれを行う方法がわかりません。それが可能かどうか、または何か他のものが必要かどうかもわかりません。

コンテキスト: 私のユース ケースは、GPU 上のニューラル ネットワークの提供から来ています。この場合、入力ごとに 1 つの推論を行うよりも、複数の要求の入力をバッチ処理し、1 つの推論を行い、結果を送り返す方がはるかに効率的です。

Websphere サーバーを使用して、サーバー マシンのローカル ストレージから画像などのファイルにアクセスする必要があります。war ファイルの WEB_INF フォルダー内に ibm-web-ext.xml ファイルを追加してみました。エラー: 404 データが見つかりません。

コードは ibm-web-ext.xml ファイルで使用されます。

Linux デスクトップに minikube クラスターと kfserving をインストールしました。次に、2 つのチュートリアル
https://github.com/kubeflow/kfserving/tree/master/docs/samples/v1beta1/custom/torchserve
https://github.com/kubeflow/kfserving/tree/master/docs/samplesに従いました。 /v1alpha2/custom/kfserving-custom-model

2 番目のチュートリアルでは、yaml ファイルの「name: custom」を「custom:」セクションから「container:」セクションに移動する必要がありました。
サービングサービスが機能していて、kubernetes のサービスのリクエストとポッドのサービングに応答していることを期待していました。
2021 年 5 月以降の最新の安定版を使用しています。

しかし、両方のチュートリアルで同じバグがあります。以下のコマンドは最初のチュートリアルのものです。モデルでdockerイメージを準備して実行すると

指図。
次のような出力が表示されます

しかし、サービスで 404 が見つからないため、予測を実行できません。
私が走るとき

新しいポッドは表示されません。
しかし、私はサービスを削除することができます

https://github.com/kubeflow/kfserving/tree/master/docs/samples/v1beta1/torchserveのような他のチュートリアルに従っていると、すべてが正常に機能し、予測を実行できました。

予測を実行できないのはなぜですか?

新しいポッドが作成されるのはなぜですか?

上記のチュートリアルが機能しない場合、docker イメージを使用して kfserving でサービスをセットアップする方法を教えてください。