2

モデルを比較するために適合率-再現率プロット (PR プロット) を使用する予定です。以下の添付図（部分的なスクリーンショット、申し訳ありません！）を参照してください。明らかに、真陽性、真陰性、偽陽性、および偽陰性が手元にあり、モデルごとに1 つの要約量が必要です。ここに私の質問があります：

  1. PR 曲線下の面積 (AUC) は最初の量ですが、R でそれを計算する方法がわかりませんROCR。利用可能な数量を使用したコード。多くの方法があるようです - どの方法が最も実装可能か知りたいです.

  2. もう 1 つの量は F 尺度です。精度と再現率を組み合わせた尺度は、精度と再現率の調和平均であり、従来の F 尺度またはバランスのとれた F スコアです。しかし、これが #1 の AUC よりも優れているのか、それとも別のことを説明しているのか気になります。さらに、Recall 値と Precision 値が多数あるため、この場合、単一の F 測定値を計算するにはどうすればよいでしょうか(下の図を参照)。

ありがとうございました！

ここに画像の説明を入力

4

1 に答える 1

3

trapz()曲線の AUC を計算するには、caToolsパッケージなどの数値積分関数を使用できます。

auc <- trapz(recall, precision)

F スコアは、特定のカットオフ値の調和平均です。あなたの場合、曲線ごとに多くの F スコアが得られるため、曲線を好きなように要約することはできません。

AUC は、モデルからの連続出力の可能な値全体でのモデルのパフォーマンスを表します。F スコアは、特定のカットポイントでのモデルを表します。これは、再現率と適合率を 1 つの統計に組み合わせる方法に近いものです。

ただし、説明するときは注意してください。通常、AUC は感度と特異度の文脈で議論されます。

于 2013-10-31T20:59:10.490 に答える