正則化（L1またはL2）を使用してロジスティック回帰を実装しようとしています。mnrfit（）関数は正則化を実装していません。正則化を実行できる組み込み関数はありますか、それとも独自の正則化コードをロールする必要がありますか？もしそうなら、私が見ることができるチュートリアルはありますか？私が見ている論文は数学的にかなり密集しています。
2325 次
2 に答える
1
Liblinearは私たちが使用した標準でした。
于 2013-03-26T00:53:20.530 に答える
1
L1とL2の正則化は、実装が非常に簡単です。
L1正則化は、各トレーニングステップの後にウェイトの絶対値の固定量を差し引くことによって機能します。したがって、たとえば0.01のL1正則化係数を使用すると、重み（1.0、-2.0、3.0）は（0.99、-1.99、2.99）になります。
L2正則化は、重みのパーセンテージを引くことによって機能します。係数が0.01の場合、これは重みベクトルに1を掛けることを意味します。-0.01=0.99。重み（1.0、-2.0、3.0）は（0.99、-1.98、2.97）になります。これは、ウェイトディケイとも呼ばれます。
ご覧のとおり、L1正則化は、小さな重みを0に引き寄せます。反対側のL2正則化は、小さな重みにはほとんど影響しませんが、大きな重みを大幅に減らします。
于 2013-03-26T01:10:31.140 に答える