問題タブ [roc]

機械学習の概念について調査してきましたが、システムの真の精度を判断するために使用できる属性をまだ適切に把握できていません (TPR または正しく分類されたインスタンスの場合)。

また、ROC とカッパ統計の適切な説明も探しています。私の知る限り、ROC はシステムがどれだけ学習しているかを測定し、Kappa はシステムがどれだけ推測しているかを測定します。しかし、それは長年の経験を持つ私たちの教授の説明です。他の技術文書を見ても、彼がそれらの用語で何を意味しているのか理解できませんでした。

したがって、アルゴリズムの精度を示すものと、ROC やカッパ統計など、アルゴリズムが優れている場合にサポートするために必要な属性を知る必要があります。

助けてください！どうもありがとうございました！

「分類精度」と「しきい値」のプロットを取得するために、次のコードを記述しました。

（データセットには、「良い」または「悪い」というラベルの付いた2つのクラスが含まれているグラウンドトゥルースがあります）

また、グラウンドトゥルースに「Good」または「Bad」というラベルの付いた2つのクラスが含まれている同じデータセットに対してROC分析を実行します。

なぜThr(15)=0.7711と違うのOPTROCPT(2)=0.8667ですか？

ROCによって得られる最良のカットオフポイント（つまり、最良のしきい値OPTROCPT）は、LDAの精度が最大のものですか？

または多分私は間違っています、それでは正確に何をperfcurve(groundTruthNumericalLable(:,1), LDAScore(:,1), 1,'yCrit','accu')教えてくれますか？

KNN 分類器の ROC のプロットを取得するために、次のコードを書きました。

次に、FPR と TPR をプロットして ROC 曲線を得ることができます。

ただし、FPR と TPR は、私が独自の実装を使用して取得したものとは異なります。上記のものはすべてのポイントを表示するわけではありません。実際には、上記のコードは ROC に 3 つのポイントしか表示しません。私が実装したコードは、データのサイズが 150 であるため、ROC で 151 ポイントを表示します。

perfcurveROC のすべてのポイントを出力できるように' ' を調整する方法を尋ねてもよろしいですか? どうもありがとう。

A.

私は最近、この論文で説明されているものに基づいて、Bag of Words 分類アルゴリズムを実装しました。

すべてうまくいきますが、ROC 曲線または精度再現率グラフを使用して分類器の精度を測定したいと思います。

各分類子の混同行列を簡単に取得できますが、より多くのポイントを取得して実際に曲線をプロットするには、どのパラメーターを変更する必要があるかわかりません。

誰かが私にこれを説明してもらえますか?

ROC曲線をプロットするためにpROCパッケージを使用する際に2つの問題があります。

A.有意水準または P 値は、ROC 曲線の下の真の (母集団) 面積が実際には 0.5 (帰無仮説: 面積 = 0.5) である場合に、観察されたサンプルの ROC 曲線の下の面積が見つかる確率です。P が小さい場合 (P<0.05)、ROC 曲線下の面積が 0.5 とは有意に異なると結論付けることができ、したがって、臨床検査が 2 つのグループを区別する能力を持っているという証拠があると結論付けることができます。

したがって、ROC 曲線の下の特定の領域が 0.50 と大幅に異なるかどうかを計算したいと思います。次のように pROC パッケージを使用して 2 つの ROC 曲線を比較するコードを見つけましたが、0.5 有意かどうかをテストする方法がわかりません。

B.分類問題に対して k 分割交差検証を行いました。たとえば、5 分割交差検証では 5 つの ROC 曲線が生成されます。次に、pROC パッケージを使用してこれら 5 つの ROC 曲線の平均をプロットする方法 (私がやりたいことはこの Web ページで説明されていますが、Python で行われます:ここにリンクの説明を入力してください)? もう 1 つのことは、この平均 ROC 曲線の信頼区間と最適なしきい値 (以下に実装されたコードのようなもの) を取得できるかということです。

参照:

http://web.expasy.org/pROC/screenshots.html

http://scikit-learn.org/0.13/auto_examples/plot_roc_crossval.html

http://www.talkstats.com/showthread.php/14487-ROC-significance

http://www.medcalc.org/manual/roc-curves.php

現在、Ruby で ROC 曲線の計算を実装しようとしています。http://people.inf.elte.hu/kiss/13dwhdm/roc.pdf (6 サイト、第 5 章、アルゴリズム 1「ROC ポイントを効率的に生成する方法」を参照)の疑似コードを Ruby コードに変換してみました。

1.0簡単な例を作成しましたが、リコールのために常に値を取得しています。何かを誤解したか、プログラミングを間違えたと思います。これが私がこれまでに行ったことです：

results配列の配列に基づいて、コードはポイントを計算しようとします。私はそれが何であるか分かりませんf_prev。f_prev格納されている分類器のスコアにあるか、またはそれがまたはtrueの場合のみ?false

誰かが私のコードをざっと見て、間違いを見つけるのを手伝ってくれたら最高です。どうも！

ROCR予測されたクラスの割合のベクトルでパッケージを使用して、いくつかのモデルがあり、パフォーマンス オブジェクトがあります。仕様「tpr」、「fpr」でパフォーマンス オブジェクトをプロットすると、ROC 曲線が得られます。

偽陽性率 (x) の特定のしきい値でモデルを比較しています。パフォーマンス オブジェクトから真陽性率 (y) の値を取得したいと考えています。さらに、そのポイントを生成するために使用されたクラス パーセンテージのしきい値を取得したいと考えています。

x-valueしきい値を超えずにしきい値に最も近い偽陽性率 ( ) のインデックス番号から、適切な真陽性率 ( y-value) のインデックス番号が得られます。そのインデックス値を取得する方法が正確にはわかりません。

さらに言えば、その点を指摘するために使用されたクラス確率のしきい値を取得するにはどうすればよいですか?

x=predictions (0.1,-0.6,1.2, -0.7...), y=actual class {+1,-1} を持つ svmlight からの出力があります。10 の特定の異なるしきい値の ROC 曲線を作成したいと考えています (10 の異なるしきい値を含むベクトルを t とします)。ROCR パッケージを確認しましたが、しきい値ベクトルを提供するオプションがありませんでした。各しきい値とプロットの TPR と FPR を計算する必要があります。それを行う他の方法はありますか？私はRプログラミングが初めてです。