machine-learning - 正則化パラメーターの選択

Question

正規化されたロジスティック回帰を適用する場合: データをトレーニング、交差検証、およびテスト セットに分割します。正則化を適用したいので、正則化パラメータ ラムダの選択に取り組んでいます。そのために、ラムダのさまざまな値を試して、トレーニング セットの仮説のパラメーター シータに適合させます。次に、検証セットでコスト関数が最小になるラムダの値を選択します。そのためには、ペナルティ項を使用して、またはそれを使用せずに、検証セットのコスト関数を計算する必要がありますか?

Answer 1

これは2つのことを混同しています。コスト関数を (正則化項を使用して) 最小化し、モデル パラメーター (ラムダなどの特定のハイパーパラメーター用) を選択します。ただし、パラメーターを使用すると、検証セット内のポイントを分類できます。そして、分類がグラウンド トゥルースとどの程度一致しているかを測定します。最も正しい答えを与えるラムダを選択します。ラムダを使用したコスト関数は、その段階では何​​の役割も果たしません。