4

このサイトでは、シグモイド ニューロン (シグモイド活性化機能を持つニューロン)、つまりパーセプトロンについて紹介する前に、少し数学的な詳細を説明しています。 http://neuralnetworksanddeeplearning.com/chap1.html

パーセプトロンから始まり、シグモイド ニューロンに進みます。すべて順調ですが、この章の後半にある「パーセプトロンをシミュレートするシグモイド ニューロン、パート II」という 2 番目の質問を証明することはできません。パーセプトロンのネットワークを、バイアスと重みが変更されていないシグモイド ニューロンのネットワークに置き換えることができるとは信じられません (ここで反例を簡単に作成できます。3 番目の層と最後の層に重み 17、-6、-3 を使用します)。 wx + b >= 0 で b = -3 および w = {17, -6} の第 4 層のニューロン。{1,0,0} (バイアス x_0 を含む) の場合、パーセプトロン ネットワークは 0 を返しますが、シグモイド ネットワークは 0 を返します。 1)。

誰かが私を助けて、何が欠けているのか、どこが間違っているのか教えてもらえますか? ありがとうございました。

4

2 に答える 2

3

いいえ、できません。重みが変更されていない場合はできません。ただし、シグモイドはバイナリしきい値単位の連続近似であり、類似している必要があります。このページには次のように書かれています。

ここで、ネットワーク内のすべてのパーセプトロンをシグモイド ニューロンに置き換え、重みとバイアスに正の定数 c>0 を掛けます。c→∞ の極限で、このシグモイド ニューロンのネットワークの動作がパーセプトロンのネットワークとまったく同じであることを示します。

これは本当です。すべての重みに大きな値を掛けると、シグモイド単位としきい値単位のわずかな差がどんどん小さくなります。シグモイドへの非常に大きな入力は、常に 0 または 1 を生成します。

于 2014-12-03T16:37:01.323 に答える