CPP 統合のために、ここから TensorFlow lib を使用しますhttps://www.tensorflow.org/install/lang_c
最初の TensorFlow セッションの実行は、特定のモデルでは時間がかかることがわかったので、20 秒かかり、次回は 200 ミリ秒かかりました。推論の時間を大幅に制限し、複数のリクエストを処理する必要があるため、次のトリックを行うことにしました。
フォークされたプロセスを使用して、並列リクエスト用の TensorFlow を提供します。TensorFlow セッションを開始し、メイン プロセスで初めて空の推論を実行し、次回はフォークされたプロセスでセッションを実行します。しかし、エラーメッセージなしでスタックしました。
このような問題に対処する方法はありますか。
どんな提案も受け入れられます。