サーバー (gRPC サービス) にリクエストを送信する複数のクライアントがあるとします。サーバーが収集できるようにしたいと思います。たとえば、8 つの要求を収集し、これらの要求を一度に処理してから、結果のみをクライアントに送り返します。GRPC機能を使用してこれを行う方法がわかりません。それが可能かどうか、または何か他のものが必要かどうかもわかりません。
コンテキスト: 私のユース ケースは、GPU 上のニューラル ネットワークの提供から来ています。この場合、入力ごとに 1 つの推論を行うよりも、複数の要求の入力をバッチ処理し、1 つの推論を行い、結果を送り返す方がはるかに効率的です。