問題タブ [lasso-regression]

私はPythonに非常に慣れていないため、私のコードはこのコードをわずかに変更したものです。現在、次のバグがスローされています (理由はわかりません)。

ここにコード - 私のデータセットになげなわを当てはめ、外側のループでモデル評価を実行し、内側のループでモデル選択を実行します (投げ縄の最適なアルファ値を見つける場所):

を使用しようとしていますcv.glmnetが、次のエラーが発生します。

x[train, ] のエラー: 次元数が正しくありません。

matrix x[train, ]の寸法と y の長さを確認しました。行列の列は、y ベクトルの長さに等しくなります。

ここで何が問題なのかわかりません。誰か助けてくれませんか？

ペナルティ付き共変量とペナルティなし共変量の両方でなげなわモデルを実行することは可能ですか? つまり、 で推定を行いたいのですがY ~ gamma * X + beta * Z、ここで、X はn*p罰せられた特徴であり、Z は罰せられていn*qない継続変数または因子変数の共変量です。

ありがとう。

バイナリ応答変数の R でなげなわ回帰を実行しています。

私はcv.glmnet最高のラムダを見つけるために使用glmnetし、最高のラムダケースの係数をチェックするために使用しています。両方の関数を呼び出すときは、 and を指定standardize =TRUEしますalpha = 1。

私の場合、約40の変数があり、それらのいくつかは散布図から互いに強く相関していると確信していますvif（同じデータでロジスティック回帰を実行していたとき）。

なげなわ回帰から得た最良のラムダは <0.001 であり、最良のモデルでは変数はドロップされません (ラムダ = 最良のラムダ)。

なぜ変数が削除されなかったのか疑問に思います。

私たちは皆、なげなわ最適化という文献で十分に文書化されている概念に精通しています（簡単にするために、ここでは線形回帰の場合に注意を限定します）

パラメータにラプラス事前分布が与えられているガウス誤差を伴う線形モデルと同等です

また、調整パラメーター c を高く設定すると、ゼロに設定されるパラメーターの部分が大きくなることもわかっています。そうは言っても、私は次の思考の質問があります。

ベイジアンの観点から、非ゼロのパラメーター推定値が間隔の任意のコレクションにあり、なげなわによってゼロに設定されたパラメーターがゼロに等しいという事後確率を計算できると考えてください。私が混乱したのは、ラプラス事前分布が連続 (実際には絶対連続) であることを考えると、{0} で間隔とシングルトンの積である任意の集合に質量が存在する可能性があることです。

LASSO を使用して、分類における特徴の重要性を判断しようとしています。しかし、そうすることに関する参考文献やガイドラインは見つかりませんでした。LASSO は主にリグレッションに対して機能することは理解していますが、回避できる方法やガイドラインはありますか?

それができない場合、自分の特徴の重要性を判断するための他の同様の方法はありますか? たとえば、分類に最も影響を与える機能はどれですか?

glmnet パッケージで LASSO を使用してロジスティック回帰を実行しようとしています。そして、モデルに特定のパラメーターを強制的に含める必要があります。ただし、エラーが発生しました。

x には、すべてバイナリ (0 または 1) である 95 個の変数があります。強制的に 3 つの変数を含める必要があるため、それらの penenty.factor = 0 を設定します。

を削除penalty.factorしても機能しますが、これら 3 つの変数を強制的に含める必要があります。ただし、保持penalty.factorして削除するとfamily = "binomial"、実行されていましたが、バイナリロジスティック回帰ではなくなりました。誰もそれを修正する方法を知っていますか?

編集:解決策がなく、できるだけ早く結果を表示するというプレッシャーに直面しているため、LASSO によって選択された変数をこれらの 3 つの必須変数と組み合わせて使用​​して、通常のロジット回帰を実行することにしました。どういうわけか、これを行うことで問題が発生すると思います...

ありがとうございました！

予測にベイジアン モデル平均化とベイジアン ラッソ回帰を使用しており、予測ログ スコアを使用して密度予測の精度を評価したいと考えています。

Bayesian Model Averaging には bms パッケージを、Bayesian LASSO には monomvn パッケージを使用しています。bms パッケージでは、予測ログ スコアを計算する関数が既に実装されていますが、monomvn {bayesian lasso} では実装されていません。

各事後描画に各観測の対応する説明変数を掛けることで、なげなわオブジェクトから予測密度を計算できたので、各観測の予測密度が得られました。

予測密度と実現値が与えられた場合、R で予測ログスコアを推定するにはどうすればよいですか?

一番

更新 (解決済み)

BMS パッケージの作成者の 1 人に連絡した後、これが私の実装です。

ここでの問題の 1 つは、この実装ではパラメーターの不確実性が考慮されていないことです。そのため、大規模なモデルではサンプル内の SigmaSq が小さくなる傾向があるため、大規模なモデルが有利になる可能性があります。