neural-network - ニューラル ネットワークでは、バイアスに運動量項が必要ですか?

Question

モメンタムは、ネットワーク内のすべてのノードのバイアス項にも追加する必要がありますか?それとも、できれば重みのみに追加する必要がありますか?

Answer 1

バイアスと重み。これを重みに適用しただけでは、バイアスが重みに遅れを生じさせ、人為的に誤差を増やし、収束を遅らせます。

バイアスは、単にもう 1 つの重み (常に 1 である追加の入力) と考えてください。