私は、合理的に長い特徴ベクトル (30 ～ 200k) を持つ単層パーセプトロンを構築しており、すべて正規化されています。
クラスの予測に多少役立つ 30,000 の機能があるとしますが、優れた予測因子である 100 の機能をさらに追加します。予測の精度はごくわずかです。ただし、100 個の優れた機能の重みを手動で増やすと (たとえば 5 倍)、精度が数パーセント向上します。
トレーニング プロセスの性質上、より優れた機能には自然に高い重みを与えるべきだというのが私の印象でした。ただし、最高の機能が悪い機能によって「かき消されている」ようです。
より多くの反復で実行しようとしましたが、それは役に立ちませんでした。
合理的に単純な方法で、アルゴリズムをより適切な重み付け機能に適応させるにはどうすればよいですか? また、かなり速い方法です。機能が少ない場合は、一度に 1 つずつ除外してアルゴリズムを実行するのは簡単ですが、30k では実際には実現可能ではありません。