ニューラルネットワークのプログラミングを始めたばかりです。私は現在、バックプロパゲーション（BP）ニューラルネットがどのように機能するかを理解することに取り組んでいます。BPネットでトレーニングするためのアルゴリズムは非常に単純ですが、アルゴリズムが機能する理由についてのテキストを見つけることができませんでした。より具体的には、ニューラルネットでシグモイド関数を使用することを正当化するための数学的推論と、それらがスローされるほとんどすべてのデータ分布を模倣する理由を探しています。
ありがとう！
11596 次
1 に答える
25
シグモイド関数は、ネットワークに非線形性をもたらします。非線形活性化関数がないと、ネットは入力の線形結合である関数のみを学習できます。結果は、1989年にそれを証明した紳士にちなんで、universal approximation theoremまたはと呼ばれます。ウィキペディアは開始するのに適した場所であり、元の論文へのリンクがあります（ただし、証明は多少含まれています）。他のものとは対照的にシグモイドを使用する理由は、それが連続的で微分可能であり、その導関数の計算が非常に速く（同様の特性を持つtanhの導関数とは対照的に）、範囲が制限されている（0から）ためです。 1に、排他的）Cybenko theorem
于 2012-07-27T07:24:57.597 に答える