machine-learning - 学習率と勾配降下の違い?

Question

2つの違いは何ですか?たとえば、2つは関数の最小点(より低い損失)に到達するのに役立ちます。

勾配降下を作るために学習率に勾配（勾配）を掛けることは理解しています（と思います）が、そうですか？私は何かが恋しいですか？

lrと勾配の違いは何ですか?

ありがとう

score 1 · Accepted Answer

ディープラーニングニューラルネットワークは、確率的勾配降下アルゴリズムを使用してトレーニングされます。

確率的勾配降下法は、トレーニングデータセットの例を使用してモデルの現在の状態の誤差勾配を推定し、単に逆伝播と呼ばれる誤差アルゴリズムの逆伝播を使用してモデルの重みを更新する最適化アルゴリズムです。

トレーニング中に重みが更新される量は、ステップサイズまたは「<strong>学習率」</p>と呼ばれます。

具体的には、学習率はニューラルネットワークのトレーニングで使用される構成可能なハイパーパラメーターであり、多くの場合 0.0 から 1.0 の範囲の小さな正の値を持ちます。

学習率は、モデルが問題に適応する速度を制御します。学習率が小さいと、更新ごとの重みの変更が小さいため、より多くのトレーニングエポックが必要になります。一方、学習率が大きいと、変化が急速になり、必要なトレーニングエポックが少なくなります。

学習率が大きすぎると、モデルが次善の解に収束するのが速すぎる可能性があります。一方、学習率が小さすぎると、プロセスが行き詰まる可能性があります。

ディープラーニングニューラルネットワークのトレーニングの課題には、学習率を慎重に選択することが含まれます。モデルにとって最も重要なハイパーパラメータかもしれません。

学習率は、おそらく最も重要なハイパーパラメーターです。ハイパーパラメータを 1 つだけ調整する時間があれば、学習率を調整します。

— 429 ページ、ディープラーニング、2016 年。

学習率とその仕組みの詳細については、次の投稿を参照してください。

1 に答える 1