私はすべてのコードを調べましたが、それが本当に問題である場合、それがどのように私を逃したのかわかりません。投稿するには長すぎるので、私の問題、修正のために調べたもの、他に何を検索できるかについてのアイデアがあれば、私は非常に感謝しています!
わかりました。最初に、haykin の指示に従って、平均ゼロと、そのニューロンの入力数の 1/平方根に等しい分散で重みが初期化されます。
最初に学習するために単純な正弦波を与えました。隠れ層の重みは、その層内の各ニューロンに同じ出力を与えるように収束しているように見えます...これにより、出力ニューロンはほぼ固定された出力を与えます。
では、何が原因でしょうか？最初に、ネットワークの学習率が原因で極小値に引っかかっているかどうかを確認し、それを増やしました。また、運動量の有無にかかわらず試しました。ネットワークが正弦波を生成するため、問題が多少修正されることがわかりました。ただし、適切ではありません！:(
ネットワーク出力は、中心軸から高さの約 3 分の 1 の振幅を持ち、下には行きません。正弦波を拾い上げ、3 分の 1 に押しつぶし、それを上げて、軸上の最も低いピークに合わせたように見えます。さらに、トップピークはすべてフラットです...
それ以来、ネットワーク トポロジを変更してみました。これにより、別の非表示ニューロン (合計 3 つ) を追加すると、突然固定出力しか得られなくなりました。