machine-learning - 各ニューロンのニューラル ネットワーク バイアス

Question

私は、ニューラル ネットワークに関する Andrew NG のビデオをフォローしています。これらのビデオでは、彼はすべてのニューロンに偏りを関連付けていません。代わりに、活性化が計算された後、すべての層の先頭にバイアス ユニットを追加し、このバイアスを計算と共に使用して、次の層の活性化を計算します (順伝播)。

ただし、機械学習に関する他のブログやこのようなビデオでは、各ニューロンに関連付けられているバイアスがあります。この違いは何であり、その理由は何ですか?また、その意味は何ですか?

Answer 1

どちらのアプローチも、同じバイアスの概念を表しています。各ユニット (入力ノードを除く) について、前の層 (フィード フォワード ネットワークの場合) のベクトルとスカラーバイアス値からの重みと活性化のドット積の活性化関数の値を計算します。

 (w * a) + b

Andrew Ng では、この値は、アクティベーションを指定されたバイアス定数(通常は 1) と連結するベクトル化トリックを使用して計算されます(この定数は異なるノードに対して独自の重みを持っているため、これは別のものを持つこととまったく同じです)。各ノードのバイアス値)。