問題タブ [onnxruntime]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

153 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
672 参照

memory-leaks - GPU で onnxruntime を使用するとメモリ リーク (CPU の RAM) が発生する

Pypi の Insightface ライブラリ ( https://pypi.org/project/insightface/ ) を使用しています。ソース コードはこちら: https://github.com/deepinsight/insightface/blob/master/python-package/ Insightface/model_zoo/scrfd.py .

GPUで実行すると、CPUのRAMの深刻なメモリリークが発生し、停止するまで40 GBを超えます（GPUメモリではありません）。

ここに私のスクリプトがあります:

私のセットアップは（ドッカー内）です：

  • Docker ベース イメージ - nvidia/cuda:11.0.3-cudnn8-devel-ubuntu18.04
  • Nvidia ドライバー - 465.27
  • パイソン-3.6.9
  • Insightface==0.3.8
  • mxnet==1.8.0.post0
  • mxnet-cu110==2.0.0a0
  • numpy==1.18.5
  • onnx==1.9.0
  • onnxruntime-gpu==1.8.1
0 投票する
1 に答える
596 参照

tensorflow - ONNX 変換された TensorFlow 保存モデルは CPU で実行されますが、GPU では実行されません

tf2onnx を使用して、テンソルフローで保存されたモデルを ONNX 形式に変換しました。

変換は正常に機能し、CPU を使用して ONNX モデルで推論を実行できます。

onnxruntime-gpuGPU で推論を実行するためにインストールしたところ、エラーが発生しました。

Titan RTX (24 GB の RAM) である GPU を使用しているのは私だけです。このモデルは、10GB の GPU の RAM を使用して、テンソルフローで保存されたモデル バージョンを使用して、GPU で正常に実行されます。

バージョンは次のとおりです。

  • テンソルフロー 1.14.0
  • CUDA10.0
  • CuDNN 7.6.5
  • onnx 1.6.0
  • onnxruntime 1.1.0
  • tf2onnx 1.9.2
  • パイソン3.6
  • Ubuntu 18.04

12345678910