問題タブ [relu]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

89 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
76 参照

sigmoid - Relu が消失勾配を解くことができるのはなぜですか?

シグモイドに関しては、0〜1の乗算が多いため、最初のエッジはめったに更新されません。私はそれが消失勾配と呼ばれることを学びました。

しかし、なぜレルにとっては問題にならないのでしょうか? reluのエッジの最初の部分もめったに更新されないと思います。

derivativeのreluは 0 か 1 のどちらかなので、多くの乗算は 0 に収束しませんか?


12345678910