0

シグモイドに関しては、0〜1の乗算が多いため、最初のエッジはめったに更新されません。私はそれが消失勾配と呼ばれることを学びました。

しかし、なぜレルにとっては問題にならないのでしょうか? reluのエッジの最初の部分もめったに更新されないと思います。

derivativeのreluは 0 か 1 のどちらかなので、多くの乗算は 0 に収束しませんか?

4

1 に答える 1