問題タブ [onnxruntime]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
ml.net - ML.Net: 複数の出力を持つ ONNX モデル - 推論時間が悪い
ML.Net と onnxruntime を使用して、1 つの入力テンソルと複数の出力テンソル (異なる次元) を持つ Onnx モデルで推論を行いたいと考えています。.GetColumn を使用して目的の出力を取得しました。すべての出力を取得するために、2 つの異なるアプローチを試しました。
1) foreach + .GetColumn を複数回呼び出す:
2) 出力を 1 つのテンソルに連結します (パイプラインを定義するとき):
どちらのアプローチでも、推論時間が非常に長くなります。たとえば、私のモデルでは、1 つの出力テンソルに対して 250 ミリ秒、10 テンソルに対して 2500 ミリ秒が必要です。推論時間は、出力の数に応じて倍増します。Python スクリプトで同じモデルを使用すると、すべての出力テンソルを 1 つのリストに取得するのに 100 ミリ秒もかかりません!
私の質問:
- ML.Net で複数の出力を取得する別の方法はありますか?
- 推論時間が倍増するのはなぜですか?