問題タブ [auc]

「tree」パッケージを使用して作成された CART 決定木の ROC 曲線と AUC を取得しようとしています。

これが私のツリーの構造です

「data.frame」: 13 個の観測点。6 つの変数:

$ var : 15 レベルの因子 "","Age",..: 15 10 1 11 11 5 1 1 15 1 ...

$ n : 数値 383 158 29 129 110 38 20 18 72 7 ...

$ dev : num 461.1 218.6 29.6 174 141.8 ...

$ yval : 2 水準の因子 "負"、"正": 2 2 1 2 2 1 2 1 2 1 ...

$ splits: chr [1:13, 1:2] "<19.5" "<81.5" "" "<65" ...

..- attr(*, "dimnames")=2 のリスト

.. ..$ : ヌル

.. ..$ : chr "cutleft" "cutright"

$ yprob : num [1:13, 1:2] 0.29 0.475 0.793 0.403 0.345 ...

..- attr(*, "dimnames")=2 のリスト

.. ..$ : ヌル

.. ..$ : chr "ネガティブ" "ポジティブ"

上記の構造を参照して、次のコード (の多くのバリエーション) を作成しました。

予測のエラー(pruned.tree7$frame$yprob, dimnames(pruned.tree7$frame$yprob)) : 各実行の予測数は、各実行のラベル数と等しくなければなりません。

予測のエラー (pruned.tree7$frame$yprob, dimnames) : ラベルの形式が無効です。

予測のエラー (pruned.tree7$frame$yprob, "dimnames") : 交差検証の実行数は、予測とラベルで等しくなければなりません。

is.data.frame(labels) のエラー: オブジェクト 'yprob' が見つかりません

予測のエラー (pruned.tree7$frame$yprob, names(pruned.tree7$frame$yprob)) : ラベルの形式が無効です。

予測のエラー(pruned.tree7$frame$yprob, dimnames(pruned.tree7$frame$yprob)) : 各実行の予測数は、各実行のラベル数と等しくなければなりません。

このリンクを検索して見つけました：ROCR Package Documentation クロス検証のトピックについて言及しています。しかし、それは私には意味がありません。

前もって感謝します！！

Initial Matrix には、リンク予測システム1の既知のリンク (未知のエントリや見逃したエントリ) が含まれています。0Matrix Factorization の出力は、計算に失敗したエントリの予測値ですAUC。

1. 20%既知のリンクの非表示 (マトリックス内のto20%のエントリのセット)10
2. 因数分解の出力をソートし、トレーニングに使用されるインデックスを破棄します ( 80%of 1)
3. N非表示の値の数に設定
4. 上位の予測値を取得Nし、非表示の値 (クラス ラベルを に設定1) かどうか (クラス ラベルを に設定)0をチェックします。
5. 上位の予測AUCを使用して計算するN

私perfcurveは matlab 計算AUCで知っていますが、 のラベル付きデータを提供するには、上記のプロセスについて確認する必要がありますperfcurve。

どんなコメントでも本当に感謝しています。

私は（Rを使用して）ロジスティック回帰モデルを持っています

パッケージを使用しpROCて ROC 曲線を描画し、fit1 から fit6 までの 6 つのモデルの AUC を計算しています。

私はこの方法で 1 つの ROC をプロットしました。

しかし、6 つの曲線すべての ROC を 1 つのプロットに結合し、それらすべての AUC を表示し、可能であれば信頼区間も表示する方法はありますか?

OneClassSVM の AUC プロットを Python でプロットするのが困難です[[tp, fp],[fn,tn]]( fn=tn=0.

エラー [1] を処理して をプロットAUCしたいOneClassSVM。

課題があります:

Naive Bayes を使用して、2 つのクラスを持ついくつかのデータでモデルを構築しました (モデルは 2 つの確率を返します - 1 つは陽性クラス、もう 1 つは陰性クラス)。しきい値を 0.5 に設定して、ROC 曲線 AUC = 0.8 および分類精度 CA = 0.6 の下の領域を計算しました (正のクラスのいくつかの例の確率が 0.5 よりも高い場合、その例の正のクラスを予測し、それ以外の場合は負のクラスを予測します)。すると、しきい値を 0.3 に設定すると、分類精度は CA = 0.7 になることがわかりました。2 番目のしきい値の AUC は? 結果が初期データに依存する場合は、すべての可能性を提示してください。

どうすればそれを計算できますか？

私は計算しようとしていますaucが、奇妙な問題があります。このスクリプトを実行すると:

私は得る：

もう1行追加してこれを実行すると：

私は得る：

ここで何が起こっているのか分かりますか？

統合の制限が各列で異なり、別のデータ フレーム (df2) に格納されているビッグ データ フレームの各列の曲線下面積を計算したいと考えています。特に、df2 は積分の始点と終点の位置を示します。

1 つの列から auc を計算するために、MESS ライブラリの関数 auc を使用しましたが、すべての列に対してそれを行うために積み重ねました。

どうすればこれを行うことができるかについて、誰かが提案できますか? 私の問題により適した別のパッケージはありますか?

前もって感謝します

以下のデータにガウス曲線を当てはめました。x の特定の値 (x=6 から x=18 など) の間の曲線の下の面積を計算したいと思います。次のコードは次のエラーを生成します: "f(x, c(m, s, a, b)) のエラー: 未使用の引数 (c(m, s, a, b))". また、いくつかの負の値があり、「正味」の値に関心があるため、正の領域から負の領域を差し引く必要があります。

キャレット ライブラリを使用して、10 倍の交差検証と 5 回の繰り返しを使用して、二項分類問題のクラス確率と予測を計算しました。

これで、クラス ラベルを予測するためにアルゴリズムによって使用されたTRUE (各データ ポイントの観測値) 値、PREDICTED (アルゴリズムによる) 値、クラス 0 確率、およびクラス 1 確率が得られました。

またはライブラリrocを使用してオブジェクトを作成し、値を計算するにはどうすればよいですか?ROCRpROCauc

これらすべての値がデータフレームに保存されていると仮定しますpredictions。たとえばpredictions$pred、 とpredictions$obsはそれぞれ予測値と真の値などです...

モデルのパフォーマンスを評価するために、scikit-learn の roc_auc_score 関数を使用しています。ただし、predict() または predict_proba() のどちらを使用しても、異なる値が得られます

それについてアドバイスいただけますか？

前もって感謝します