68

最急降下法が何をするのか理解しています。基本的には、曲線をゆっくりと下に移動することにより、局所的な最適解に向かって移動しようとします。計画勾配降下法とニュートン法の実際の違いは何ですか？

ウィキペディアから、私はこの短い行を読みました。「ニュートン法は曲率情報を使用して、より直接的なルートを取ります。」これは直感的にどういう意味ですか？

4

5 に答える 5

72

極小値（または最大値）xで、ターゲット関数の導関数はf消えます:(f'(x) = 0十分な滑らかさを仮定してf）。

x最急降下法は、次の1次導関数からの情報を使用して、このような最小値を見つけようとしますf。これは、現在のポイントからの最も急な降下法をたどるだけです。fこれは、ボールが静止するまで（慣性を無視して）グラフを下に転がすようなものです。

ニュートン法は、線形関数で近似し、その関数の根を明示的に解くことによって、x満足のいく点を見つけようとします（これはニュートンの求根法と呼ばれます）。の根は必ずしもの根ではありませんが、多くの状況下で適切な推測です（ニュートンの求根法に関するウィキペディアの記事には、収束基準に関する詳細情報があります）。ニュートン法は、近似しながら（の曲率）を利用します。これは、の滑らかさに対する要件が高いことを意味しますが、（より多くの情報を使用することにより）多くの場合、より速く収束することも意味します。f'(x) = 0f'ggf'f'f''ff

于 2012-08-22T05:37:06.960 に答える
13

簡単に言えば、最急降下法では、ゼロがあると思う場所に向かって小さな一歩を踏み出し、再計算します。ニュートン法、あなたはそこまでずっと行きます。

于 2016-02-05T22:41:02.757 に答える
4

2017年の編集：元のリンクは無効ですが、バックマシンはまだそれを取得しています:) https://web.archive.org/web/20151122203025/http://www.cs.colostate.edu/~anderson/cs545/講義/week6day2/week6day2.pdf

このパワーポイントの主なアイデアは簡単に説明されていますhttp://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf

私はこの助けを願っています:)

于 2012-08-22T05:36:12.970 に答える
2

最急降下法とニュートン法を単純に比較すると、2つの方法の目的は異なります。

最急降下法は、極大値または極小値を見つける（近似）ために使用されます（xは最小f（x）または最大f（x）を作成します）。ニュートン法は関数の根を見つける（近似する）ことですが、つまりxはf（x）=0になります

この意味で、それらはさまざまな問題を解決するために使用されます。ただし、ニュートン法は、最適化（GDが解いている領域）のコンテキストでも使用できます。最大値または最小値を見つけるには、ニュートン法が使用されるf'（x）=0を見つけることでアプローチできるためです。

結論として、最適化には2つの方法を使用できます。1）GDと2）xを見つけるのでf'（x）= 0であり、ニュートン法はその2番目の問題を解決する方法にすぎません。

于 2020-04-23T10:22:12.067 に答える
2

@Chengによる回答に基づいて、ニュートン法は関数の根を見つけるので、ニュートン法をに適用f'()しての最適値を見つけることを理解するのに役立ちますf()。したがって、この場合のニュートン法の更新規則は次のとおりです。

new_guess = old_guess - f'(old_guess)/f''(old_guess)、ここで、f''()は最適化する関数の曲率です。

比較すると、最急降下法の更新ルールは次のとおりです。

new_guess = old_guess - f'(old_guess)*alpha、ここで、alphaはステップサイズを示します。

f''()これから、ニュートン法が関数の曲率を使用して更新のサイズを増減する方法を大まかに見ることができます。

于 2021-11-09T17:29:41.370 に答える