下の図では、目的の出力（赤い線）を生成することを学習しようとしている学習アルゴリズムを見ることができます。学習アルゴリズムは、後方エラー伝播ニューラルネットワークに似ています。
「学習率」は、トレーニングプロセス中に行われる調整のサイズを制御する値です。学習率が高すぎる場合、アルゴリズムは迅速に学習しますが、その予測はトレーニングプロセス中に大きくジャンプします（緑色の線-学習率0.001）。低い場合、予測のジャンプは少なくなりますが、アルゴリズムは学習時間がはるかに長くなります（青い線-学習率0.0001）。
黒い線は移動平均です。
学習率を調整して、最初は目的の出力に近づくように収束させ、その後、正しい値に焦点を合わせることができるように速度を落とすにはどうすればよいですか？
学習率グラフhttp://img.skitch.com/20090605-pqpkse1yr1e5r869y6eehmpsym.png
時間の経過とともに学習率を下げるプロセスは、学習率の「アニーリング」と呼ばれることもあります。
学習率を時間の線形関数にするなど、多くの可能な「アニーリングスケジュール」があります。
u(t) = c / t
...c定数はどこにありますか。または、「検索してから収束する」スケジュールがあります。
u(t) = A * (1 + (c/A)*(t/T)) /
(1 + (c/A)*(t/T) + T*(t^2)/(T^2))
...これは、（「検索」フェーズ）と比較して小さいA場合に学習率を維持し、 （「収束」フェーズ）と比較して大きい場合に学習率を低下させます。もちろん、これらのアプローチの両方について、パラメーター（、、、、など）を調整する必要がありますが、それらを導入することで、害を及ぼす以上の効果が得られることを願っています。:)tTtTcAT
いくつかの参考文献：
ネットワークの学習に合わせて学習率を変更する必要があると言ったときに、自分の質問に答えました。あなたがそれをすることができる多くの異なった方法があります。
最も簡単な方法は、反復回数に比例して学習率を下げることです。25（または他の任意の数）ごとに、適切な最小値に達するまでレートから一部を減算します。
また、反復回数を使用して非線形に実行することもできます。たとえば、反復ごとに学習率に.99を掛けて、適切な最小値に達するまで繰り返します。
または、もっと巧妙にすることができます。ネットワークの結果を使用して、ネットワークの次の学習率を決定します。フィットネス指標が優れているほど、学習率は低くなります。そうすれば、必要な限りすばやく収束し、その後ゆっくりと収束します。これはおそらく最良の方法ですが、単純な反復回数のアプローチよりもコストがかかります。
学習率に依存しない他のトレーニング方法を検討しましたか？
ヘッセ行列を計算する学習率の必要性を回避するトレーニング方法（Levenberg-Marquardtなど）がありますが、直接検索アルゴリズム（Norio Babaによって開発されたものなど）に出くわしました。
おそらく、レートに合わせて、学習アルゴリズムへの負のフィードバックループでコーディングします。大きく揺れ始める学習率の値は、フィードバックループの減速部分に当たり、反対方向に揺れ、その時点で反対の減速力が働き始めます。
状態ベクトルは、最終的に「多すぎる」と「少なすぎる」のバランスをとる平衡状態に落ち着きます。それは生物学のシステムがいくつ機能するかです