python - scikit-learn で RFECV を使用すると、使用される機能が増えると分類の精度が低下するのはなぜですか?

Question

Scikit-learn の相互検証による再帰的特徴の除去で使用される特徴の増加に伴い、分類の精度が低下する理由を誰か説明してもらえますか? Scikit-learn のドキュメントで報告されている例: Recursive feature Removal with cross-validationから、7 つの特徴を使用すると最良の分類結果が得られるようです。ただし、17 個の機能を使用すると、精度が 25% 低下します。これはどのように可能ですか？機能の追加により、精度が常に向上することを期待しています。

Answer 1

参照しているドキュメントのバージョンは OLD です。例の現在のバージョンはこちら 機能を削除すると常にパフォーマンスが低下する場合は、機能の選択を行う意味がありません。ターゲットに関係のない機能を削除すると、過剰適合が減少します。