machine-learning - 3 層 MLP で、非表示の重みへの入力をランダムにする必要があるのはなぜですか?

Question

たとえば、3-1-1 レイヤーの場合、重みが均等に初期化されている場合、MLP はうまく学習できない可能性があります。しかし、なぜこれが起こるのですか？

Answer 1

隠れ層にニューロンが1つしかない場合は、問題ありません。しかし、隠れ層に2つのニューロンがあるネットワークを想像してみてください。それらが入力に対して同じ重みを持っている場合、両方のニューロンが常にまったく同じ活性化を持っているよりも、2番目のニューロンを持つことによる追加情報はありません。そして、バックプロパゲーションのステップでは、これらの重みは同じ量だけ変化します。したがって、すべての反復で、これらの隠れたニューロンは同じ活性化を持ちます。

Answer 2

質問のタイトルにタイプミスがあるようです。隠しレイヤーの重みをランダムにする必要があるのはなぜかということだと思います。（3-1-1）で示したネットワークの例では、隠れ層に1つのユニットしかないため、問題にはなりません。ただし、完全に接続されたネットワークの隠れ層に複数のユニットがある場合（たとえば、3-2-1）、重みをランダム化する必要があります。そうしないと、隠れ層へのすべての重みが同じように更新されます。各隠れ層ユニットが同じ超平面を生成するため、これはあなたが望むものではありません。これは、その層に単一のユニットがあるのと同じです。