問題タブ [autograd]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python-3.x - PyTorch のすべての入力のネットワーク勾配 wrt 重みを計算するにはどうすればよいですか?
各入力のネットワークの勾配を計算する方法を理解しようとしています。そして、私は少し迷っています。基本的に、私が望むのは、入力 x のすべての値に対して d self.output/d weight1 と d self.output/d weight2 を計算することです。したがって、たとえば、サイズ (1000, 5) のマトリックスがあります。1000 は入力 x のサイズ、5 はレイヤー内の重みの数です。
以下に示した例では、重みをサイズ (1,5) として返します。ここで計算されているのは正確には何ですか？これは x の 1 つの入力に対する d self.output/ d weight1 ですか、それともすべての入力の平均ですか?
次に、features.grad と weight1.grad の matmul は、私が求めているものと同じでしょうか? x のすべての値に対する weight1 のすべての勾配の行列。