matrix - ニューラル ネットワークでバイアスを実装する適切な方法

Question

ニューラル ネットワークを作成できますが、バイアスの実装について明確にする必要があります。どちらの方法が良いか:B1, B2, .. Bn各層のバイアス行列を独自の重み行列とは別の行列に実装するか1、前の層の出力 (この層の入力) にa を追加して重み行列にバイアスを含めます。画像では、この実装が次のことを行っているかどうかを尋ねています。

またはこの実装：

最高です。ありがとうございました

Answer 1

前の層の出力 (この層の入力) に 1 を追加して、重み行列にバイアスを含めます。

これは、ここで実装されているようです: Python を使用した機械学習: MNIST データ セットを使用したニューラル ネットワークのトレーニングとテストの段落「複数の隠れ層を持つネットワーク」。

それが最善の方法かどうかはわかりませんが。(関係ないかもしれませんが、上記のコード例では、シグモイドで動作しましたが、ReLU に置き換えたときに失敗しました)。