人工ニューラル ネットワークで使用されるエラー バックプロパゲーション アルゴリズムを理解しようとしています。
私が理解している限り、各ニューロンは出力としてシグモイド関数の結果を持っています。これは、各重み/入力ペアの積の合計と「バイアス」値をパラメーターとして取ります。
ネットワークの合計誤差が計算されると、さまざまな重みに関する誤差の導関数を使用して、誤差関数の「局所最小値」を見つけることができます。これらは、誤差が最小になる重みでなければなりません。
ただし、導関数がゼロである点は、理論的には極大値である可能性もあります...どうすればこの問題を解決できますか?
乾杯 ：）
ニューラル ネットワーク自体は、ローカル ミニマム問題から解放されませんでした。したがって、追加のテクニックが必要です。
局所最小問題を軽減する簡単な方法の 1 つは、運動量を使用することです。(しかし、これは聖杯ではありません) デルタの過去の動き (移動平均など) を使用して重みを更新すると便利です。たとえば、特定のエポックでデルタが -1 だったが、最近のデルタ履歴が +1、+2、+4、+2 だった場合。そして、MA サイズを 5 と定義しました。このエポックの実際のデルタは (+1 +2 +4 +2 -1)/5 = +1.6 になります。
おそらく、移動ウィンドウの重みに指数関数的減衰関数を使用すると、このモメンタム アプローチはより改善された結果を示します。