問題タブ [roc]

ベイジアン ロジスティック回帰の ROC 曲線の実装を手伝ってくれる人はいますか? DPpackageを試してみましたが、それは私ですか、それともうまくいきません。

ROC 曲線を使用して比較したい 2 つのモデルを以下に示します。

Default ~ ACTIVITY + CIF + MAN + STA + PIA + COL + CurrLiq + DebtCov + GDPgr私の議論はどこにありますか。mydata はデータベースです。mylogit.reduced は、ベイジアンの前に推定されたロジスティック回帰でB0あり、共分散行列でありsubset=c、除外された観測値です。

編集: Dwin がコメントで指摘したように、以下のコードは ROC 曲線用ではありません。ROC 曲線は、 (以下で行うように) ではtなく、変動でインデックス付けする必要があります。lambda機会があれば、以下のコードを編集します。

以下は、バイナリの結果を予測する glmnet の ROC 曲線を作成する試みです。以下のコードで、glmnet の結果を近似するマトリックスをシミュレートしました。ご存じのとおり、入力のn x p行列が与えられると、glmnet は、ラムダの 100 の異なる値について予測確率 [$\Pr(y_i = 1)$]のn x 100 行列を出力します。ラムダのさらなる変化が予測力の増加を停止した場合、出力は 100 より狭くなります。以下の glmnet 予測確率のシミュレートされた行列は、250x69 の行列です。

まず、glmnet ROC 曲線をプロットする簡単な方法はありますか? 第二に、そうでない場合、以下のアプローチは正しいと思われますか? 第三に、(1) 偽陽性/真陽性の確率、または (2) 単に観察された偽陽性/真陽性の割合をプロットすることに関心がありますか?

これについて SO で 1 つの質問がありますが、答えは大まかで、正しくありませんでした: glmnet lasso ROC charts

100 個のサンプル (行) と 10000 個の独立した機能 (列) を含むマトリックス (x) があります。観測値は、サンプルが良いか悪いかのバイナリです {0,1} (ベクトル y に格納されます)。クロスバリデーションを除外して実行し、各機能の曲線下面積 (AUC) を個別に決定したいと考えています (CAtools パッケージの colAUC のようなもの)。glmnet を使用しようとしましたが、うまくいきませんでした。マニュアルに記載されているように、nfold パラメータを観測数 (100) に等しくなるように設定しようとしました。

そして、私はこれらの警告を受けています：

私が間違っていることはありますか？また、各機能のLOOバランスの取れたAUC値を取得する他の方法またはRパッケージはありますか?

どんな助けでも本当に感謝します。ありがとうございました！

このページを使用してロジスティック回帰を実行しています。私のコードは以下の通りです。

このコードを実行すると、mydata データフレームには「admit」と「prob」の 2 つの列があります。ROC 曲線を取得するには、これら 2 つの列で十分ではないでしょうか?

ROC 曲線を取得する方法を教えてください。

次に、mydata を見ると、モデルは の確率を予測しているようですadmit=1。

あれは正しいですか？

モデルが予測している特定のイベントを見つける方法は?

ありがとう

更新: 以下の 3 つのコマンドは非常に便利なようです。それらは、最大の精度を持つカットオフを提供し、ROC 曲線を取得するのに役立ちます。

1 または 0 を予測するネットワークを作成しました。現在、TN、FN、TP、FP を見つける必要があるネットワークの ROC 曲線に取り組んでいます。ネットワークの出力が >= 0.5 で目的の出力が 1 の場合、それを True Positive に分類しました。そして、望ましい出力が 0 で >=0.5 の場合、誤検知に分類しました。それは正しいことですか？私の理解が正しいかどうかを確認したいだけです。

私は 140,000 観測のデータ セットを持っており、2 つの異なる予測子を使用して ROC (受信者動作特性) を比較しようとしています。ただし、このroccompコマンドはr(134)エラーを報告して失敗しますtoo many values。それが違いを生む場合、私はStata / MP 12を使用しています。これに対する回避策はありますか？

次のおもちゃのデータセットがあります。

Metrics パッケージの auc() 関数を使用すると、スコアが 1 であることがわかります。

これは正しくないようです。助言がありますか？

決定木を実装しました。ROC 曲線で評価したいと思います。

ただし、そのしきい値を定義する方法がわかりません。私の知る限り、決定木のパフォーマンスは 1 つの混同行列で表すことができるため、ROC グラフの 1 つの点に対応する必要があります。曲線はどのように作ればよいですか？

ありがとう！

私のデータセットには、100 個の特徴の 400 個の観測値があります。400 個の観測値はそれぞれ、2 つのクラスのうちの 1 つに属しています。

このデータセットを分類するために、MATLAB でニューラル ネットワーク ( patternet(15) ) をトレーニングしています。
すべての機能を一度に使用するわけではありませんが、最初に 1 つの機能 (400x1) を使用し、次に 2 つ目の機能 (400x2) を追加します。すべてのステップで、perfcurveを使用して AUC を計算します。

これが私の問題です：

AUC は変化していますが、入力が追加されるたびに常に大きくなっているわけではありません。
より多くの機能を使用してネットワークをトレーニングすると、AUC が増加するはずではありませんか? (私は常に、divideindを介して同じ除算を使用します)。

すべてのコメントとヘルプに感謝します! ありがとう！

ランダム フォレスト分類の ROC 曲線をプロットしようとしています。プロットは機能しますが、結果のプロットには 1 つのポイント (精度) しかないため、間違ったデータをプロットしていると思います。

これは私が使用するコードです：