問題タブ [auc]

スコアのベクトルと実際のクラスラベルのベクトルが与えられた場合、R言語または単純な英語のバイナリ分類器の単一数値AUCメトリックをどのように計算しますか？

「AUC：より良い測定...」の9ページ目は、クラスラベルを知っている必要があるようです。これは、MATLABでの私が理解していない例です。

R（R言語と混同しないでください）はベクトルとして定義されていますが、関数として使用されているためですか？

私は一連の種の生態学的ニッチ モデルを生成しており、AUC を生態学的ニッチの品質の指標として使用したいと考えています。Maxent を開発した Steven Phillips は、彼の Maxent マニュアルで、R で AUC を計算するためのコードを提供しています。しかし、私は部分的な AUC 比率をより堅牢で概念的に健全なメトリックとして報告している論文を読んでいます。ROCR R パッケージを使用して部分 AUC を計算する方法は理解できたと思いますが、AUC 比率をどのように計算するのですか?

Phillips のチュートリアル スクリプトは次のとおりです。

アドバイスや提案をいただければ幸いです。ありがとうございました。

私はrpartR で分類器を使用しています。問題は、トレーニング済みの分類器をテスト データでテストしたいということです。これで問題ありませんpredict.rpart。関数を使用できます。

しかし、精度、再現率、F1 スコアも計算したいと思います。

私の質問は、それらの関数を自分で作成する必要がありますか、それとも R またはそのための CRAN ライブラリのいずれかに関数がありますか?

いくつかの実験から得られた多くのデータがあり、「測定」列は 1 つだけで、 ROC/AUC曲線を計算したいと考えています。私はmatplotlibを使用して見ましたが、それを行う方法が見つかりませんでした。誰かがmatplotlibまたはROC / AUC曲線用の使いやすい他のオープンソースライブラリで経験を共有できるのだろうか.

次のような適合率と再現率のペアのセットが与えられた場合、JAVAのROC曲線下面積（AUC）を計算するための簡単なライブラリはありますか？

1.0 0.0

0.9 0.1

0.8 0.1

..。

doubleの2つの配列を入力することができます。

自分で書くこともできますが、すでに統合されているライブラリがあればもっといいでしょう。

ありがとうございました

次のおもちゃのデータセットがあります。

Metrics パッケージの auc() 関数を使用すると、スコアが 1 であることがわかります。

これは正しくないようです。助言がありますか？

モデルを比較するために適合率-再現率プロット (PR プロット) を使用する予定です。以下の添付図（部分的なスクリーンショット、申し訳ありません！）を参照してください。明らかに、真陽性、真陰性、偽陽性、および偽陰性が手元にあり、モデルごとに1 つの要約量が必要です。ここに私の質問があります：

1. PR 曲線下の面積 (AUC) は最初の量ですが、R でそれを計算する方法がわかりませんROCR。利用可能な数量を使用したコード。多くの方法があるようです - どの方法が最も実装可能か知りたいです.

2. もう 1 つの量は F 尺度です。精度と再現率を組み合わせた尺度は、精度と再現率の調和平均であり、従来の F 尺度またはバランスのとれた F スコアです。しかし、これが #1 の AUC よりも優れているのか、それとも別のことを説明しているのか気になります。さらに、Recall 値と Precision 値が多数あるため、この場合、単一の F 測定値を計算するにはどうすればよいでしょうか(下の図を参照)。

ありがとうございました！

ggplot2 と stat_density を使用していくつかの密度プロットを作成しました。私の同僚は、各曲線の下の面積の合計が 1 になるとは確信していないと言いました。それで、私は曲線の下の面積を計算することに着手しました。

これが私がしたことの例です：

結果：

まともに機能しているように見えますが、これを行うより良い方法があるかどうか疑問に思います。特に、間隔の計算 (つまり、dx だと思います) は、特に異なる密度曲線が異なる間隔を使用する場合、問題になる可能性があるようです。

R で 3 クラス ROC 分析の問題に遭遇し、非常に厄介な結果が得られました (こちらを参照)。今、私はそれを解決するために別の方法を使用しようとしています。データはあり、分類子はパッケージirisに含まれている多項ロジスティック回帰です。nnetコードは以下のとおりです。

私の質問は次のとおりです:これはパッケージ
を使用する正しい方法ですか? pROC
どうもありがとう！！！

関連参照:
pROCパッケージ: http://www.inside-r.org/packages/cran/pROC/docs/multiclass.roc
Hand & Till(2001)元の論文: http://link.springer.com/article/10.1023%2FA%3A1010920819831

キャレットパッケージを使用して再帰的な機能選択を適用しようとしています。私が必要としているのは、ref がパフォーマンスの尺度として AUC を使用することです。1か月間グーグルした後、プロセスを機能させることができません。これが私が使用したコードです：

このスクリプトを実行すると、次の結果が得られます。

このプロセスでは、パフォーマンスの尺度として常に精度が使用されます。発生する別の問題は、次を使用して取得したモデルから予測を取得しようとするときです。

次のメッセージが表示されます

モデルから何らかの予測を得ることが不可能であることが判明しました。

で得た情報はこちらsessionInfo()