問題タブ [auc]

スコアのベクトルと実際のクラスラベルのベクトルが与えられた場合、R言語または単純な英語のバイナリ分類器の単一数値AUCメトリックをどのように計算しますか？

「AUC：より良い測定...」の9ページ目は、クラスラベルを知っている必要があるようです。これは、MATLABでの私が理解していない例です。

R（R言語と混同しないでください）はベクトルとして定義されていますが、関数として使用されているためですか？

私は一連の種の生態学的ニッチ モデルを生成しており、AUC を生態学的ニッチの品質の指標として使用したいと考えています。Maxent を開発した Steven Phillips は、彼の Maxent マニュアルで、R で AUC を計算するためのコードを提供しています。しかし、私は部分的な AUC 比率をより堅牢で概念的に健全なメトリックとして報告している論文を読んでいます。ROCR R パッケージを使用して部分 AUC を計算する方法は理解できたと思いますが、AUC 比率をどのように計算するのですか?

Phillips のチュートリアル スクリプトは次のとおりです。

アドバイスや提案をいただければ幸いです。ありがとうございました。

私はrpartR で分類器を使用しています。問題は、トレーニング済みの分類器をテスト データでテストしたいということです。これで問題ありませんpredict.rpart。関数を使用できます。

しかし、精度、再現率、F1 スコアも計算したいと思います。

私の質問は、それらの関数を自分で作成する必要がありますか、それとも R またはそのための CRAN ライブラリのいずれかに関数がありますか?

いくつかの実験から得られた多くのデータがあり、「測定」列は 1 つだけで、 ROC/AUC曲線を計算したいと考えています。私はmatplotlibを使用して見ましたが、それを行う方法が見つかりませんでした。誰かがmatplotlibまたはROC / AUC曲線用の使いやすい他のオープンソースライブラリで経験を共有できるのだろうか.

次のような適合率と再現率のペアのセットが与えられた場合、JAVAのROC曲線下面積（AUC）を計算するための簡単なライブラリはありますか？

1.0 0.0

0.9 0.1

0.8 0.1

..。

doubleの2つの配列を入力することができます。

自分で書くこともできますが、すでに統合されているライブラリがあればもっといいでしょう。

ありがとうございました

次のおもちゃのデータセットがあります。

Metrics パッケージの auc() 関数を使用すると、スコアが 1 であることがわかります。

これは正しくないようです。助言がありますか？

モデルを比較するために適合率-再現率プロット (PR プロット) を使用する予定です。以下の添付図（部分的なスクリーンショット、申し訳ありません！）を参照してください。明らかに、真陽性、真陰性、偽陽性、および偽陰性が手元にあり、モデルごとに1 つの要約量が必要です。ここに私の質問があります：

1. PR 曲線下の面積 (AUC) は最初の量ですが、R でそれを計算する方法がわかりませんROCR。利用可能な数量を使用したコード。多くの方法があるようです - どの方法が最も実装可能か知りたいです.

2. もう 1 つの量は F 尺度です。精度と再現率を組み合わせた尺度は、精度と再現率の調和平均であり、従来の F 尺度またはバランスのとれた F スコアです。しかし、これが #1 の AUC よりも優れているのか、それとも別のことを説明しているのか気になります。さらに、Recall 値と Precision 値が多数あるため、この場合、単一の F 測定値を計算するにはどうすればよいでしょうか(下の図を参照)。

ありがとうございました！