問題タブ [serving]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
timeout - TensorFlow Server はクライアント タイムアウト内に接続を閉じます
TensorFlow Serving を使用してモデルをロードし、Java gRPC クライアントを実装しました。
通常、小さなデータで機能します。しかし、より大きなバッチ サイズでリクエストし、データがほぼ 1 ~ 2M の場合、サーバーは接続を閉じ、内部エラーをすぐにスローします。
https://github.com/tensorflow/serving/issues/284でこれを追跡するための問題も公開しています。
variables - Tensorflow ノードのエイリアスを持つことは可能ですか?
私は複雑なネットを持っており、そのためにモデルを推論するための非常に単純なクラスを作成し、それを凍結したグラフ ファイルにシリアル化しました。
問題は、このファイルで変数を彼の名前空間でロードする必要があることです。これは、モデルをどのように構築したかによって終了する可能性があります。私の場合、次のようになります。
モデルに保存する前に、これら 2 つのノードにエイリアスを与えたいと思います。たとえば、最終的には共通の名前を持ち、推論用のクラスをモデルを取得するための汎用クラスとして使用できるようにします。この場合、私は次のようなことをすることになります：
それで、彼らにエイリアスを与えるオプションはありますか? 本当に何も見つかりませんでした。
どうもありがとうございました！
python - bazel-bin/tensorflow_serving/example/inception_client
トレースバック (最新の呼び出しが最後):
ファイル "/root/serving/bazel-bin/tensorflow_serving/example/inception_client.runfiles/tf_serving/tensorflow_serving/example/inception_client.py"、56 行目、tf.app.run() ファイル "/root/serving/bazel- bin/tensorflow_serving/example/inception_client.runfiles/org_tensorflow/tensorflow/python/platform/app.py"、48 行目、実行中 _sys.exit(main(_sys.argv[:1] + flags_passthrough)) ファイル "/root/ serving/bazel-bin/tensorflow_serving/example/inception_client.runfiles/tf_serving/tensorflow_serving/example/inception_client.py"、51 行目、メインの結果 = stub.Predict(request, 10.0) # 10 秒のタイムアウト ファイル "/usr/local /lib/python2.7/dist-packages/grpc/beta/_client_adaptations.py"、324 行目、呼び出し中 self._request_serializer, self._response_deserializer) ファイル "/usr/local/lib/python2.7/dist-packages/grpc/beta/_client_adaptations.py"、210 行目、_blocking_unary_unary で _abortion_error(rpc_error_call) grpc.framework.interfaces を発生させます。 face.face.AbortionError: AbortionError(code=StatusCode.FAILED_PRECONDITION, details="デフォルト サービング署名キーが見つかりません。")
コマンドを実行すると：
エラーが発生しました：
grpc.framework.interfaces.face.face.AbortionError: AbortionError(code=StatusCode.FAILED_PRECONDITION, details=”デフォルト サービング署名キーが見つかりません。”)
サーバーは正常に動作していますが、問題が発生します。
それを取り除くために私に何ができるか教えていただけますか？
python - mnist クライアントを c++ に書き直す (arg[0] は行列ではありません)
mnist_clientPythonコードをc ++に書き直そうとしています。私はテンソルフローとTFサービングが初めてなので、いくつかの問題があります。チュートリアルと C++ クライアントの例を確認しました ( inception_client)。Pythonmnist_clientは問題なく動作しますが、C++ クライアントを実行すると、arg[0] is not a matrix
チュートリアルのようにモデルをトレーニングし、読み取った minst データに問題がないことを確認しました。
これから:
tensorflow 無効な引数: In[0] is not a matrixMatMul 、少なくとも 2-dim データが必要であることを理解しています。inception_clientしかし、私はと pythonの c++ コードを調べmnist_client、両方とも画像データを 1-dim char 配列に読み込みました...ここで何が欠けていますか?
のコードinception_client: https://github.com/tensorflow/serving/blob/master/tensorflow_serving/example/inception_client.cc
どんな助けでも大歓迎です。:)
編集 1:問題は、モデルの作成方法と、クライアントが送信するデータの次元にあるに違いないと思います。ディメンションを設定するモデルをトレーニングおよびエクスポートする、提供された python プログラムを使用しました。