machine-learning - バイアスの更新によるニューラル ネットワークのシグモイド活性化

Question

シグモイド活性化関数とバイアスを正しく使用して人工ニューラル ネットワークを作成しているかどうかを把握しようとしています。1 つのバイアス ノードをすべての非表示ノードに入力し、静的出力 -1 とその重みを組み合わせてから、静的出力 -1 をその重みと組み合わせて出力するバイアス ノードを 1 つ作成します。次に、他のニューロンをトレーニングするのとまったく同じように、これらのバイアスをトレーニングできますよね?!

Answer 1

それは正しい推論ですが、「-1」の値を設定することはかなりまれです (なぜ +1 ではないのですか?)。これは文献でこれまで見たことがありません。正しいグラフ構造を維持している場合、「実際の」ノードと「バイアス ノード」の重みの更新に違いはありません。唯一の違いは、グラフ構造を保存しない場合に発生する可能性があるため、バイアス (出力ノードに接続されているバイアス) に「子」がなく、信号がネットの奥深くまで「逆伝播」されないことを「認識」していない場合です。 . 単純にレイヤーを配列として格納し、逆伝播中に 1 から反復できるようにインデックス 0 にバイアスを配置するようなコードを見てきました。明らかに、グラフベースの実装ははるかに読みやすくなっています (ただし、計算をベクトル化できないため、はるかに遅くなります)。