問題タブ [auc]

さまざまなしきい値の AUC グラフに FPR 対 TPR ポイントをプロットしようとしています。

たとえば、データ フレームに真の応答列 (0 または 1) がある場合、 (別の測定列) が指定されたしきい値を上回っているか下回っているdata$C2ときに、予測値 (0 または 1) を持つベクトルを作成したいと考えています。data$C1ROCRパッケージで試した機能は次のとおりです。

tempリストベクトルであり、真のラベルが行列からのものであるため、問題はありますか? これを for ループに間違って適用していますか?

前もって感謝します！

編集: これは、ROC パッケージを使用せずに手動でこれを行う試みです。

マルチクラス ROC 曲線をプロットしようとしていますが、 pROCパッケージで実りあるものは見つかりませんでした。ここにいくつかの開始コードがあります：

個々のクラスの ROC 曲線をプロットするにはどうすればよいですか?

したがって、サンプルの重み関数を使用していますが、デフォルトの sklearn スコアリング関数を使用してパフォーマンスを測定したくありません。

ここでは、文字列「roc_auc」を渡すことができ、auc を計算する必要があると書かれているようGridSearchCVですが、計算される auc は重み付けされた auc でしょうか、それとも単なるバニラ auc でしょうか?

スレッドで指摘されているように、関数 multiclass.roc で pROC (R 内) を使用しています。

ただし、データに適用すると、エラーが発生します。

予測子は数値または順序付けされている必要があります

明らかに、私のデータ ラベルは順不同です。この場合、どうすれば AUC を計算できますか?

P/S: アイデアは、マルチクラス分類器の結果として混同行列があるということです。Rでこの混同行列のAUCを計算するにはどうすればよいですか?

アップデート1:

順序のない4つのクラスA、B、C、Dがあるとしましょう（つまり、A> BまたはB> Aという意味ではありません）

正しい値:

予測値:

このデータの AUC はどのように計算すればよいですか?

更新 2

サンプル データを生成するコード:

それから私は試しました

私は、predictions.csv と target.csv の 2 つのファイルを持っています。

Predictions.csv の形式:

target.csv の形式:

私が試したこと：

トレースバック:

どうすれば AUC を見つけることができますか?

編集: target.csv 列が取り得る可能な値を追加しました。

私が設計、トレーニング、および Azure ML 実験 (2 つのクラスの決定ジャングルを使用) を Web サービスとして公開したモデル は、正常に呼び出すことができ、(しきい値 0.5 に基づいて) 期待される結果を返します。

問題 しかし、返された結果を操作して、希望する精度、精度、および再現率に近い結果を提供したいと考えていますが、これはたまたまデフォルトのしきい値である 0.5 と一致しません。これは、評価結果を視覚化し、しきい値スライダーを中央 (0.5) から左右に動かすことで、ML Studio を介して簡単に行うことができます。

多くの Azure ML ドキュメントとチュートリアルをグーグルで検索して読みましたが、これまでのところ、トレーニング済みで公開済みの実験でしきい値を変更し、別のスコア付き確率を返す方法がわかりません。

GLMNET を使用して、二項ロジスティック回帰モデルを適合させたいと考えています。キャレットまたは glmnet-package を直接使用できます。データ (BinomialExample) を例として、両方を実装した次のコードを実行してみましょう。

キャレット パケットを使用するとわかるように、モデルの ROC、感度、および特異性を簡単に出力できます。ただし、CARET なしで glmnet を直接使用する場合、ROC、Sens、Spec を出力する同様の方法を見つけることができませんでした。これらのメトリックを取得する同様の方法はありますか?

ご協力いただきありがとうございます！

AUC パッケージを使用して R で ROC プロットを作成しています。

これらは、生存確率と観察された生存率を比較する 300 ポイント データセットの最初の 5 ポイントです。

ROC プロットのカットオフ値を変更したいと思います。ドキュメントにはこれらの値が記載されていますが、roc または auc 関数で実際に使用する方法は指定されていません。

"価値

次の要素を含むリスト:

例には基本的な関数のみが含まれており、カットオフ、tpr、または fpr の使用方法は示されていません。

カットオフ値をroc関数に組み込む方法に困惑しています。以前に AUC パッケージでカットオフ値を使用したことのある人はいますか? 他のパッケージで実行できることはわかっていますが、データとコードが既にセットアップされているため、可能であればこのパッケージに固執したいと考えています。