1

Coursera で Andrew Ng によるオンラインのオープン コース レクチャーを受講しました。ニューラル ネットワークに関する講義の最後に正則化について説明しましたが、残念ながら私は何かを見逃していました。正規化により、コスト関数の値は次のように計算されます。

J(theta) = -1/m * jValMain + lambda/(2*m)*JValReg

jValMain以上の和の集合でありy、NN の出力である。2 番目のコンポーネントjValRegは正規化を適用することで、次のようになります。

jValReg = lambda/(2*m)*sum( sum( sum( Theta(j)(i)(k)^2 ) ) )

Thetaは重みのセット、mはデータベース内のすべての要素/ケースの数、そしてlambda. ラムダとは？スカラーですか、ベクトルですか、それとも行列ですか? ラムダを介して正規化を適用するにはどうすればよいですか? l 番目のレイヤーから特定の j 番目と i 番目の重みを調整するのはラムダですか、それともすべての重みを 1 つの数値で調整するのですか。それはどういうわけか私を混乱させます。誰かがこの概念に精通しているなら、私はどんな助けにも感謝します. 乾杯！

4

1 に答える 1

1

lambdaあなたの推定における正則化パラメータです。これは、見積もりの​​バイアスを制御する手段と考えてください。これはスカラーであり、データの過適合を防ぐためによく使用されます。ここでは、コースラの課題のメモから抜粋したいくつかの行を示します。

... ラムダの値は、トレーニング セットと交差検証セットでの正則化された多項式回帰の結果に大きな影響を与える可能性があります。特に、正則化のないモデル (ラムダ = 0) はトレーニング セットによく適合しますが、一般化されません。逆に、正則化が多すぎる (ラムダ = 100) モデルは、トレーニング セットとテスト セットにうまく適合しません。適切なラムダ (たとえば、ラムダ = 1) を選択すると、データに適切に適合できます。

于 2013-10-07T14:13:11.833 に答える