machine-learning - 線形回帰に機能を追加すると精度が低下するのはなぜですか?

Question

私は ML が初めてで、少し学ぶために kaggle コンテストに取り組んでいます。データセットに特定の機能を追加すると、精度が低下します。

コストに追加する機能の重みをゼロ (無視) にしないのはなぜですか? 非線形の特徴が極小解を引き起こす可能性があるためですか?

ありがとう。

Answer 1

線形回帰分類器のトレーニング エラーについて話している場合、バグがない限り、機能を追加すると常にエラーが減少します。あなたが言うように、それは凸の問題であり、重みをゼロに設定するだけでグローバルソリューションが悪化することはありません。

ただし、テストエラーについて話している場合は、オーバーフィッティングが機能を追加する際の大きな問題になるでしょう。これは確かに観察されることです。