シグモイドまたは線形スカッシュ関数を使用しないフィードフォワード ニューラル ネットワークのトレーニング アルゴリズムの実装 (または簡単な説明) はありますか?
私はすでにそのようなアルゴリズムに関する論文を見つけましたが、それに応じた実装はなく、当惑しているように思えますが、何かがあるはずです。
ヒントはありますか？
3813 次
1 に答える
8
バックプロパゲーションは、ヘビーサイド関数では機能しません。これは、その導関数が無限である点ゼロを除いて、すべてのドメインでゼロであるためです。つまり、ヘビーサイド関数の導関数はディラック デルタです。
この結果、ゼロ以外の値は変更されず、進歩はありません。ポイント ゼロでは、導関数は無限であるため、ステップも管理できません。
Java でこの関数の実装をオンラインで見つけることができますが、それを使用することはまだ良い考えではないと思います。シグモイド関数のガマ パワーを大きくすると、微分可能性の利点が追加された、ヘビーサイド関数の非常に適切な近似になります。
でこのペーパーをチェックして、役立つ情報があるかどうかを確認してください。
于 2012-06-15T12:48:17.153 に答える