machine-learning - なぜBIASがANNで必要なのですか？レイヤーごとに個別のBIASを用意する必要がありますか？

Question

入力信号の将来の応答を予測するモデルを作成したいのですが、私のネットワークのアーキテクチャは[3、5、1]です。

• 3つの入力、
• 隠れ層の5つのニューロン、および
• 出力層に1つのニューロン。

私の質問は次のとおりです。

1. 非表示レイヤーと出力レイヤーごとに個別のバイアスを設定する必要がありますか？
2. 各レイヤーでBIASに重みを割り当てる必要がありますか（BIASがネットワークに余分な価値をもたらし、ネットワークに過度の負担をかけるため）？
3. なぜBIASは常に1に設定されているのですか？etaの値が異なる場合、BIASに異なる値を設定しないのはなぜですか？
4. 非線形関数に常に対数シグモイド関数を使用するのはなぜですか？tanhを使用できますか？

Answer 1

ですから、私たちが一歩下がって、バイアスユニットがNNで果たすことを意図している役割について議論するならば、これのほとんどは明らかだと思います。

バイアスユニットは、通常、正の合計入力が正のアクティブ化を意味するため、ネット内のユニットが適切なしきい値を学習できるようにすることを意味します（つまり、特定の合計入力に達した後、正のアクティブ化の送信を開始します）。

たとえば、バイアスユニットの重みが-2で、ニューロンxがある場合、他のすべての入力の合計が-2より大きい場合、ニューロンxは正のアクティブ化を提供します。

だから、それを背景として、あなたの答えは：

1. いいえ、1つのバイアス入力で常に十分です。これは、各ユニットの重みに応じて異なるニューロンに異なる影響を与える可能性があるためです。
2. 一般的に言えば、すべての非入力ユニットにバイアスの重みを設定することをお勧めします。そうしないと、バイアスの重みのないユニットのしきい値が常にゼロになるためです。
3. しきい値以降、一度学習すると、試行間で一貫している必要があります。各ユニットが入力とどのように相互作用するかを表すバイアスを覚えておいてください。それ自体は入力ではありません。
4. あなたは確かにそうすることができ、多くの人がそうします。sqaushing関数は通常、活性化関数として機能します。