問題タブ [roc]

検出アルゴリズムを使用して、100 個の画像からオブジェクトを検出しました。各画像には正確に 2 つの真実が含まれています。つまり、各画像には 2 つのオブジェクトが含まれています。次に、ノイズを追加して、最適なものを見つけました。検出結果とグラウンド トゥルース intArea の交差領域、および和集合領域 unionArea = rectA + rectB - intArea を計算しました。次に、これらの比率を使用して、次のように ROC 曲線を描くことを計画しました。

次に、TP/100 を Y 軸の値として使用し、TP/(TP+FP) を X 軸の値として使用して、ROC 曲線を描きました。しかし、結果は期待どおりではありません: (私は新しいユーザーなので、今は画像を投稿できません --- ) jpg

それで、誰かが私を助けて、どこが間違っていたのか教えてくれませんか? 皆さん、ありがとうございました！

そのような2つの列を含むcsvファイル（タブ区切り）があります

ROCR を使用して ROC プロットを作成しようとしています。

これは私がこれまでに試したことです：

2 行目にエラーが表示されます。Error in prediction(p[1], p[2]) : Number of classes is not equal to 2. ROCR currently supports only evaluation of binary classification tasks.

エラーの内容がわかりません。CSV ファイルに何か問題がありますか?

ROCR パッケージを使用して、同じプロットで異なる分類器の ROC 曲線をプロットすることは可能ですか? 私はもう試した：

しかし、私は得る：

エラー en as.double(y) : 型 'S4' を型 'double' のベクトルに変換できません

ありがとうございました！

ビデオを使用したオブジェクト検出アプリケーションのウィンドウごとの誤検知対ミス率 (または誤警報の確率) と ROC (受信機動作曲線) のグラフをプロットする方法は?誤検知とヒットの数を決定する方法は?例は次のとおりです。非常に便利。

パッケージcaretを使用して、さまざまなトレーニングモデルの予測の統計を取得しようとしています。以下は私の必要性を説明する例です：

pred4つのモデルのX_kandY_から予測の統​​計（ROCなど）を取得するにはどうすればよいですか？

2 クラスの問題の予測確率を使用して ROC 曲線を描く必要があります。ROC 曲線を生成するには、確率に異なるカットオフを使用する必要があります。

ランダムフォレストを使用してクラス確率を予測しています

上記のフォレストを使用したテスト データの予測

これで、真のクラス ラベルとテスト データの予測確率を含むデータ ファイルができました。確率0.1で異なるカットオフ (たとえば、、、、、)0.3を使用0.5し0.7てROC 曲線を生成する必要があります。0.9それについてどうやって行くのですか？

wekaの AUC/ROC 領域 ( http://weka.wikispaces.com/Area+under+the+curve ) は、e Mann Whitney 統計 ( http://en.wikipedia.org/wiki/Mann -Whitney_U )

しかし、アルゴリズム (つまり J48) をデータセットに適用することによって、10 個のラベル付きインスタンス (Y または N、バイナリ ターゲット属性) を取得した場合、これらの 10 個のインスタンスに 10 個の予測ラベルがあるとは思えません。では、AUC_Y、AUC_N、および AUC_Avg を計算するには、正確には何を使用すればよいでしょうか? 予測のランク付けされたラベル Y および N または実際のラベル (Y' および N') を使用しますか? または、TP レートと FP レートを計算する必要がありますか?

誰かが私に小さな例を与えて、マン・ホイットニー統計アプローチに基づいて AUC を計算するためにどのデータを使用する必要があるかを教えてもらえますか? ありがとうございます。

サンプルデータ：

次のような適合率と再現率のペアのセットが与えられた場合、JAVAのROC曲線下面積（AUC）を計算するための簡単なライブラリはありますか？

1.0 0.0

0.9 0.1

0.8 0.1

..。

doubleの2つの配列を入力することができます。

自分で書くこともできますが、すでに統合されているライブラリがあればもっといいでしょう。

ありがとうございました

投稿する前に、ROC 曲線についてよく読みました。

そのため、Weka が ROC 曲線を描く方法がわかりませんでした。曲線内のポイントを生成するために変化させるしきい値が見つかりません。ありがとう、

線形判別分析ベースの分類を実行するコードをいくつか書きました。

したがって、私は得ることができます

次に、LDA 分類子の ROC 分析を実行します。

私は持っています：

したがって、次のようになります。

私の質問は次のとおりです。

1. ROC 分析の後、精度が向上しました。分類器の精度を報告する場合、どの値を使用する必要がありますか? ROC 曲線から正確に何がわかるか、または推測できるのでしょうか? ROC 分析の後、LDA 分類器の精度が向上したと言えますか?

2. ROC では分類器の精度が向上するのに、元の ClassificationDiscriminant.fit ではできないのはなぜですか?

3. 次のように、LDA分類子のクロス検証も行いました

   cvLDAClassifier = crossval(LDAClassifierObject, 'leaveout', 'on');

次に、クロス検証の ROC 分析を取得する方法は? ' resubPredict' メソッドは入力として '識別オブジェクト' のみを受け入れるようですが、どうすればスコアを取得できますか?

4.. classperfMatlab の関数は、分類器のすべての情報を収集するのに非常に便利です。

ただし、相互検証結果の精度、FPR などのこれらの情報を収集する方法を知っている人はいますか?

どうもありがとう。上記の質問への回答をお待ちしております。

A.