matlab - Matlabの奇妙な結果でフィードフォワードネットワークを使用した分類?

Question

フィードフォワードネットワークを使用して、Matlab でいくつかの分類テストを実行しました。標準tansig関数を使用すると、隠れ層でより多くのニューロンを使用すると結果が向上しました。しかし、切り替えてpure linみると、隠れ層のニューロン数を少なく設定した方が結果が良くなったことに驚きました。これらの状況についての議論を手伝ってもらえますか?

Answer 1

tansig活性化関数は本質的に、ニューロンが飽和により非アクティブになることを可能にします。線形ニューロンは常にアクティブです。したがって、1 つの線形ニューロンに不適切なパラメーターがあると、常に分類の結果に影響します。このシナリオでは、ニューロンの数が多いほど、悪い行動を起こす可能性が高くなります。