問題タブ [tensorflow-serving]

インセプション モデル用にセットアップされたサービス提供ツールを使用して、再トレーニングされたインセプション モデルをセットアップしようとしています。ここのチュートリアルに従っています。再トレーニングされたモデルを使用してサーバーをセットアップすることができました。エクスポートするために、retrain.py ファイルの末尾に次のコードを追加しました。

今のところ4クラスしかありません。Tensorflow ツール (Serving なし) を使用してモデルを作成しました。モデルがテスト イメージで動作することを確認できました。今、私はそれを提供しようとしています。次のコマンドを使用して、モデルにサーバーをセットアップしました。

最後の2行を連続して印刷すると、次の出力が得られます。

これをテストするためにインセプションに python クライアントを使用しようとすると、次のエラーが発生し、出力が見つからないように見えます。

誰かがこれを案内してくれますか？実際のプロジェクトで Tensorflow を使用するのはこれが初めてです。

TensorFlow Serving を使用するプロジェクトを構築しようとしているので、WORKSPACE ファイルを含むディレクトリ my_dir を作成し、そこにサービス リポジトリを複製し、カスタム ファイルをディレクトリ my_project に配置し、tensorflow_serving 内で tensorflow を構成し、my_dir から tensorflow serving を構築しました。 /奉仕する

すべてがそこで正常にビルドされたら、mnist_export を模倣した python ファイルをビルドし、それを my_dir に入れて BUILD ファイルを作成しようとします

ただし、実行すると

次のエラーが表示されます。

私の WORKSPACE ファイルには、次のものがあります。

私の仮説は、テンソルフローはサブサブプロジェクトであるため、生成されたファイルを祖父母プロジェクトのバゼルアウトに配置していないということです。しかし、私は多くのことを試しましたが、それを機能させることができませんでした。

「AWS t2.large Ubuntu 14.04」サーバーに tensorflow サービングをインストールして構成しました。

コマンドを実行して mnist_client ユーティリティでサーバーをテストしようとするとbazel-bin/tensorflow_serving/example/mnist_client --num_tests=1000 --server=localhost:9000、次のエラー メッセージが表示されます。

E0605 05:03:54.617558520 1232 tcp_client_posix.c:191] failed to connect to 'ipv4:127.0.0.1:9000': timeout occurred

これを修正する方法はありますか？

誰かがこれに関する作業を見たことがありますか? これはかなり一般的なユースケースになると思います。Python でモデルをトレーニングし、グラフをエクスポートして一連の固有命令にマップしますか?

私は demo.sh が正常に動作していて、parser_eval.py を見て、ある程度理解しました。ただし、TensorFlow Serving を使用してこのモデルを提供する方法がわかりません。上から見ることができる2つの問題があります。

1) これらのグラフにはエクスポートされたモデルはありません。グラフは、呼び出しごとにグラフ ビルダー (たとえば、structured_graph_builder.py)、コンテキスト プロトコル バッファー、および現時点では完全に理解していないその他のものを使用して構築されます。 (追加の syntaxnet.ops も登録しているようです)。SessionBundleFactoryそれで...それは可能ですか?また、これらのモデルをServingと. そうでない場合は、サービングが C++ コンテキストでのみ実行されるため、グラフ構築ロジック / ステップを C++ で再実装する必要があるようです。

2) demo.sh は、実際には UNIX パイプで文字通りパイプ接続された 2 つのモデルであるため、Servable は (おそらく) 2 つのセッションを構築し、一方から他方へデータをマーシャリングする必要があります。これは正しいアプローチですか？または、両方のモデルを一緒に「パッチ」して含む「大きな」グラフを作成し、代わりにそれをエクスポートすることは可能ですか?

私はbazelを使用してsyntaxnetとtensorflow-servingを構築しました。どちらも tensorflow 自体の独自の (部分的な?) コピーを埋め込みます。私はすでに、理解できないシンタックスネットツリーに「住んでいる」スクリプトでテンソルフローサービスの一部を「インポート」したいという問題を抱えています（いくつかの非常に醜いことをしなければ）。

今、私は「テンソルボード」が欲しいのですが、それはどうやらsyntaxnetまたはtensorflow-servingの中に埋め込まれたtensorflowの一部として構築されません。

だから、「自分のやり方が間違っている」と確信しています。さまざまな個別の bazel ワークスペースによって構築されたアーティファクトをどのように組み合わせる必要がありますか?

特に、tensorflow (tensorboard を使用) AND syntaxnet AND tensorflow-serving を構築し、それらを使用するために「インストール」して、完全に別のディレクトリ/リポジトリに独自のスクリプトを書き始めることができるようにするにはどうすればよいですか?

「./bazel-bin/blah」は本当に bazel のエンド ゲームですか? 「make install」に相当するものはありませんか?

私は TensorFlow についてかなりの経験を積んでおり、C# の運用環境で TensorFlow で訓練されたモデルを使用することで最終的に最高潮に達するプロジェクトに着手しようとしています。基本的に、C# 環境に送られるライブ データがあり、最終的には TensorFlow でモデルの出力に基づいて決定を出力したり、特定のアクションを実行したりする必要があります。これは基本的に、既存のインフラストラクチャの単なる制約です。

これを実装するには、データをディスクに書き込み、アプリケーションの Python 部分を呼び出し、最後に Python アプリケーションによって出力された結果を読み取り、それに基づいて何らかのアクションを実行するなど、いくつかの潜在的に悪い方法を考えることができます。ただし、これは遅いです。

C# と Python ベースの Tensorflow の間で、この同じ統合された関係を実現するためのより高速な方法はありますか? C++ と TensorFlow でこれを行う方法がいくつかあるようですが、C# はどうでしょうか?