machine-learning - 線形回帰で正則化パラメーターを計算する方法

Question

線形回帰セットアップで一連の点を適合させるために使用される高度な線形多項式がある場合、オーバーフィッティングを防ぐために正則化を使用し、コスト関数にラムダ パラメーターを含めます。このラムダは、勾配降下アルゴリズムのシータ パラメータを更新するために使用されます。

私の質問は、このラムダ正則化パラメーターをどのように計算するのですか?

Answer 1

正則化パラメーター (ラムダ) はモデルへの入力であるため、おそらく知りたいのは、ラムダの値をどのように選択するかです。正則化パラメーターは過剰適合を減らし、推定された回帰パラメーターの分散を減らします。ただし、これは、見積もりに偏りを加えるという犠牲を払って行われます。ラムダを大きくすると、オーバーフィッティングが少なくなりますが、バイアスも大きくなります。したがって、本当の問題は、「見積もりでどの程度の偏りを許容できるか」です。

1 つの方法として、データをランダムにサブサンプリングし、推定値の変動を確認する方法があります。次に、ラムダの値を少し大きくしてプロセスを繰り返し、推定値の変動性にどのように影響するかを確認します。決定したラムダの値がサブサンプリングされたデータに適している場合でも、より小さな値を使用して、完全なデータセットで同等の正則化を実現できる可能性が高いことに注意してください。