問題タブ [regularized]

この問題では、線形分類器のトレーニング中に、選択した特徴の重みを正則化する必要があります。私はpython SKlearnを使用しています。

SKlearn に分類子の非対称正則化を組み込むことについて多くのことをグーグルで検索しましたが、解決策が見つかりませんでした。このタスクを実行するコア ライブラリ関数は Windows 用の DLL として提供されるため、既存のライブラリを変更することはできません。

この種の柔軟性を備えた Python 用の機械学習ライブラリはありますか? あらゆる種類の助けをいただければ幸いです。

正規化されたロジスティック回帰を実行するために rms ライブラリを使用しており、切片を強制的にゼロにしたいと考えています。私は以下を使用してシミュレーションと回帰を行っています。

R でインターセプトを削除する方法の投稿では、モデル式に「0 +」または「- 1」を含めることを提案しています。ただし、これは lrm では機能しないようです。

R で LiblineaR パッケージを使用して L1 回帰を実行しています。ただし、実行するたびにわずかに異なるモデルが返されるようです。これは非決定論的であるはずですか？

vwロジスティック回帰にオンライン学習スキームを使用するから奇妙な結果が得られました。そして、追加--l1または--l2正規化すると、すべての予測が 0.5 になりました (つまり、すべての機能が 0 です)。

これが私のコマンドです：

...そしてここに学習プロセス情報があります:

ところで、機能の数は約 80,000 であり、各サンプルにはそのごく一部しか含まれていません (そのためcurrent features、約 100 のみ)。

これが私の推測ですが、目的関数/損失関数では、第2項regularization lossが方程式全体を支配し、この現象につながる可能性がありますか?

そして、別のデータセット（先日のもの）を試します

特徴の数がわかっている場合、ランダム フォレストの最大の深さをどのように見つけますか?

これは、ランダム フォレスト分類子を正則化するために必要です。

これはばかげた質問に思えるかもしれませんが、合理的な答えを思いつくことができません。

正則化は、複雑なモデルよりも単純なモデルを取得して、オーバーフィッティングを回避するのに役立つと言われています。しかし、線形分類問題の場合:

モデルの複雑さはある程度指定されています。それは線形であり、2 次またはより複雑なものではありません。では、なぜパラメータの正則化が必要なのでしょうか? このような場合、なぜ小さい重みを好むのでしょうか?