問題タブ [regularized]

0〜1の値を予測する、正則化されたロジスティック回帰のパッケージをRで見つけようとしていますが、パッケージを試した後、larsパッケージを試したので、あまり運がありませんでしたglmnet。

以下は、glmnetパッケージのリファレンスマニュアルの例のコードですが、出力がわかりません。

出力がすべて0-1の範囲内にない理由がわかりません。

私はここで何かを誤解していますか？

正則化されたロジスティック回帰のための使いやすいパッケージを誰かが推奨できますか？

ありがとう。

データのノイズ除去の一般的な方法は、行列を作成し、SVDを実行し、小さな特異値をゼロに設定してから、分解された行列部分を乗算して新しい行列を作成することです。これは、入力データを「調整」または「正則化」する1つの方法です。

元の行列空間にベクトルがある場合、そのベクトルを新しい条件付き空間にどのように投影しますか？

画像再構成の問題に総変動最小化を使用しようとしています。基本的に、再構成された画像の 2 つのピクセルの強度の違いにペナルティを課そうとしています。

このために|Ax-b|+ \lambda |F(X)| where F(x)= (x_i - x_i+1)^2、2 つの最も近いピクセルの差の強度にペナルティを課す 2 次関数を最小化します。

\lambdaただし、 （正則化の強さ）の値を修正する方法を決定することはできません。\lambda文献では、ラグランジュ乗数を使用したノルム正則化の場合を見つける方法を見つけました。\lambdaただし、この場合に最適な方法を見つける/策定することはできません。

誰でもそれに対処する方法について何か考えがありますか?

最適な分析形式が存在するかどうかは誰にもわかり\lambdaませんか?

パラメータ推定のベイジアン設定では、l2 正則化を実行するために事前分布のパラメトリック形式はどうあるべきですか?

正規化されたバイナリ分類に scikit-learn の LogisticRegression オブジェクトを使用しています。ドキュメントを読みましたが、intercept_scalingこの値を賢く選択する方法がわかりません。

データセットは次のようになります。

• 10 ～ 20 個の機能、300 ～ 500 回の複製
• 非常に非ガウス的で、実際にはほとんどの観測値はゼロです
• 出力クラスは必ずしも同じ確率ではありません。ほぼ 50/50 の場合もあれば、90/10 に近い場合もあります。
• 通常C=0.001、良好な相互検証結果が得られます。

intercept_scalingドキュメントには、他のすべての機能と同様に、インターセプト自体が正規化の対象であり、これに対処するために使用できるという警告が含まれています。しかし、この値をどのように選択すればよいでしょうか? 簡単な答えの 1 つは、 と の多くの可能な組み合わせを調べCてintercept_scaling、最高のパフォーマンスが得られるパラメーターを選択することです。しかし、このパラメータの検索にはかなりの時間がかかるので、できればそれは避けたいと思います。

理想的には、切片を使用して出力予測の分布を制御したいと考えています。つまり、分類子がトレーニング セットで「クラス 1」を予測する確率が、トレーニング セット内の「クラス 1」データの割合と等しくなるようにしたいと考えています。これが特定の状況下で当てはまることは知っていますが、私のデータではそうではありません。それが正則化によるものなのか、入力データの非ガウス性によるものなのかはわかりません。

ご提案ありがとうございます。

sklearnまたはpythonに相当するRのsvmpathを見つけるために周りを見回しました。私はそれを見落としましたか、それともこのタスクのためにRを使用する必要がありますか?

ありがとう

rcond()ゼロに近い条件の悪い行列があるため、その行列の逆行列は正しくありません。使用してみpinv()ましたが、問題は解決しません。これは私が逆を取っている方法です：

この問題の解決策を探したところ、マトリックスを改善するためのこのリンク(最後の解決策) が見つかりました。そこでの解決策は、これを使用することを提案しています：

どこでc > 0。これまでのところ、この手法を使用すると、マトリックスAがより適切に調整され、結果として得られるソリューションの見栄えが良くなります。ただし、さまざまな の値を使用して調査しcた結果、結果の解は選択した の値に依存しますc。

の値を手動で調査する以外に、最適な解を得るためcの の値を自動的に見つける方法はありますか?c

私は正則化されたLRで手を試しています.matlabのこの式で簡単です:

コスト関数:

勾配:

これは matlab コードではなく、単なる数式です。

これまでのところ、私はこれを行ってきました：

そして、コスト関数は正しい結果を与えていますが、勾配（1ステップ）がそうでない理由がわかりません。コストは正しいJ = 0.6931を与え、勾配grad = 0.3603 -0.1476 0.0320を与えます。パラメータ theta(1) を正則化する必要がないため、2 から コードに何か問題があると思いますが、4日経っても表示されません。ありがとう

正規化されたロジスティック回帰を適用する場合: データをトレーニング、交差検証、およびテスト セットに分割します。正則化を適用したいので、正則化パラメータ ラムダの選択に取り組んでいます。そのために、ラムダのさまざまな値を試して、トレーニング セットの仮説のパラメーター シータに適合させます。次に、検証セットでコスト関数が最小になるラムダの値を選択します。そのためには、ペナルティ項を使用して、またはそれを使用せずに、検証セットのコスト関数を計算する必要がありますか?

VL-Feat と LIBLINEAR を使用して 2 カテゴリ分類を処理します。トレーニング セットの #(-)/#(+) は 35.01 で、各特徴ベクトルの次元は 3.6e5 です。私は約15000の例を持っています。

デフォルトで、正の例の重みを 35.01 に、負の例の重みを 1 に設定しました。しかし、私が得たのは、テスト データセットでのパフォーマンスが非常に悪いことです。

その理由を探るために、トレーニング例を入力として設定しました。私が見ているのは、負の例は正の例よりもわずかに高い決定値を取得することです。本当に奇妙ですよね？入力をチェックして、例に誤ったラベルを付けていないことを確認しました。ヒストグラム ベクトルの正規化を行いました。

誰もこの状況に遭遇したことがありますか？

トレーニング済みモデルのパラメーターは次のとおりです。バイアス、レギュラライザー、デュアリティギャップなどのパラメーターは非常に小さいため、正確性が失われやすいため、違和感を覚えます。