Andrew Ng によって紹介された autoencoder に関するこの記事を読みました。そこでは正則化のようなスパリティを使ってコネクションを落としているが、スパースのフォーミュラは正規化とは違う。では、モデル NN やロジスティック回帰のような正則化項を直接使用しない理由を知りたい: (1/2 * m) * Theta^2 ?
1217 次
1 に答える
1
まず、いくつかの命名規則から始めましょう。重みに対するスパース性ペナルティと L2 ペナルティの両方を正則化と呼ぶことができます (そしてしばしばそうです)。. したがって、問題は「単純な L2 ノルム ベースではなく、スパース性ベースの正則化を使用する理由」です。そして、この問題に対する簡単な答えはありません。基礎となる数学には深く入り込まず、ネットワークが適切に一般化された表現を確実に作成するためのより良い方法は何かを尋ねるためです。または、ネットワークへの入力として何を入れても、それが比較的単純な表現を生成することを確認します (おそらく、めったに使用されない多くの重み/ニューロンを犠牲にして)。このレベルの抽象化であっても、これら 2 つの正則化プログラム間の質的な違いを示す必要があり、完全に異なるモデルの構築につながります。スパース項は常に優れていますか? おそらくそうではありませんが、ML にはほとんど何もありません」
于 2016-09-24T16:13:08.337 に答える