TensorRTで深層学習モデルを最適化しました。C++ インターフェイスは、Jetson TX2で最適化されたモデルによって画像を推論しています。このインターフェイスは、平均 60 FPS を提供しています (ただし、安定していません。推定値は 50 ～ 160 FPS の範囲です)。このシステムを、リアルタイム パッチを適用した Jetson でリアルタイムで実行する必要があります。
TensorRT を使用したリアルタイムの推論についてどう思いますか? TensorRT を使用してリアルタイム推論システムを開発することは可能ですか?
プリエンプションを提供するために、プロセスとスレッドに高い優先度を設定しようとしました。すべての推論でほぼ同じ FPS 値が期待されます。したがって、決定論的な推論時間が必要です。しかし、システムは確定的に出力できませんでした。