image-processing - ROC曲線の交差検証

Question

相互検証のためのROC曲線を生成する方法は？

単一のテストでは、ROC曲線を生成するためにSVMの分類スコアをしきい値設定する必要があると思います。

しかし、相互検証のためにそれを生成する方法がわかりませんか？

Answer 1

交差検定の完全なラウンドの後、すべての観測値は1回分類され（ただし、異なるモデルによって）、対象のクラスに属する推定確率、または同様の統計が与えられます。これらの確率は、外部テストセットで取得された確率とまったく同じ方法でROC曲線を生成するために使用できます。分類しきい値を0から1に変更し、すべて設定されているので、クラスごとのエラー率を計算するだけです。

ただし、パフォーマンスはフォールドの分割方法によって異なるため、通常は複数ラウンドの交差検定を実行する必要があります。すべてのラウンドの平均ROC曲線を計算する方法は私にはわかりません。それらすべてをプロットして、平均AUCを計算することをお勧めします。

Answer 2

Backlinのフォローアップとして：

k分割またはleave-n-out交差検定のさまざまな実行の結果の変動は、モデルの不安定性を示しています。これは貴重な情報です。

• もちろん、結果をプールして1つのROCを生成することもできます。
• ただし、曲線のセットをプロットすることもできます。
  たとえば、RパッケージROCRを参照してください。
• または、たとえば、異なるしきい値で中央値とIQRを計算し、これらの変動を表すバンドを作成します。
  例を次に示します。影付きの領域は、8分割交差検定の125回の反復で観察された四分位範囲です。薄い黒い領域には、1つの特定のしきい値で観察された特異度と感度のペアの半分が含まれています。中央値はxでマークされています（+マークは無視してください）。