neural-network - 入力層にバイアス ニューロンを含める必要がありますか?

Question

私は疑問に思っていました:多層フィードフォワードニューラルネットワークでは、入力層にバイアスニューロンを含める必要がありますか?それとも、これは隠れ層でのみ役立ちますか? もしそうなら、なぜですか？

Answer 1

いいえ、入力層はバイアス ニューロンへの接続を必要としません。バイアス ニューロンから受け取った活性化は、実際の入力によって完全に上書きされるためです。

たとえば、このアーキテクチャを使用して古典的なXOR 問題を解決しようとしているネットワークを想像してください(ここで、1 とマークされたニューロンはバイアスです)。

このネットワークを入力 (1,0) で実行するには、単純にニューロン X1=1 と X2=0 の活性化をクランプします。ここで、X1 または X2 がバイアスからの入力も受け取っていた場合、その入力はとにかくオーバーライドされ、そのような接続は無意味になります。