問題タブ [auc]

Apache Spark で分類を行っていますが、結果をどのように解釈すればよいかわかりません。auROC は非常に悪い (0.53) ですが、auPR は非常に高い (0.79) です。

これらの結果は少し矛盾しているように思えますが、これをどのように解釈すればよいでしょうか?

R でパッケージを使用して、pROC感度、特異性、およびしきい値レベルを計算しようとしています。サンプルデータはこちら

このエラーが発生する理由と修正方法を教えてくれる人はいますか?

ありがとうございました

caretパッケージで生成された SVM-RFE モデルの交差検証データから平均 ROC 曲線をプロットする方法があるかどうかを知りたいです。

私の結果は次のとおりです。

私はここに記載されている解決策を試しました: キャレット内のトレーニングデータからの ROC 曲線

しかし、この解決策はうまくいかないようです (結果の AUC 値はまったく異なります)。前の回答で述べたように、トレーニング プロセスの結果を 50 の相互検証セットに分けましたが、次に何をすべきかわかりません。

何か案は？

ROC 曲線をプロットし、各 ROC 曲線の AUC を取得する 2 つの方法を試しました。

方法 1 - 最初の方法は簡単ですが、複数の ROC 曲線を一緒にプロットする方法がわかりません。私は単純に を使用しroc.curve(hacide.test$cls, pred_rose[,2])ています。出力には ROC 曲線が表示され、AUC が得られます。

方法 2 複数の ROC 曲線をまとめてプロットできるようになりましたが、AUC を同時に取得することはできません。これは、複数の ROC 曲線をまとめてプロットする方法です。

これは私がAUCを取得する方法です:

ご覧のとおり、この 2 番目の方法をperformance()使用している場合、ROC 曲線と AUC を取得するために使用される方法が異なります。ここで pf1、pf2 の出力には AUC 値がありません。

方法 1 の方が簡単ですが、方法 1 を使用して ROC 曲線を一緒にプロットし、各 AUC 値を維持する方法を知っていますか?

テンソルフローで tf.contrib.metrics.streaming_auc() を使用して、ニューラル ネットワーク モデルの auc 値を見つけたかったのです。しかし、tf.contrib.metrics. auc_histogram() 以外のオプションはありません。tensorflow には多くのオプションがありますが、私には何も利用できません。誰かがそれらの属性を取得するのを手伝ってくれませんか?

roc 曲線と対応する auc を表示するためのチュートリアルに従いました。ggplot ライブラリを使用したことがないため、エラーがどこにあるのかわかりません。ここで以下のコード：

これはエラーです：

どうすればこれを修正できますか?

一連の連続した時点での日射強度グラフの下の面積を見つけようとしています。基本的に、過去 24 時間の 7 日間の 1 時間ごとの日射量の積分 (過去 24 時間の移動合計) が必要です (土壌の温度は、過去 24 時間の日射量の結果であると思われます)。

ここに私が使用しているコードがありますが、機能しますが、統合の時間枠を簡単に変更できるように自動化したいと思います (12、18、24、36 時間を試してください)。関係があるかどうかを確認するために、時間ごとの温度データに対してプロットする可能性がある値)

ここで: Rg - 10 分間の測定での日射量 num - データフレームのエントリ番号 AUC_xxx - 過去 24 時間の総日射量

私はrollapplyで試しましたが、私は再び立ち往生しています:

助けてくれてありがとう ！

バランスのとれたデータセット (両方のクラスのサイズが同じ) が与えられた場合、それを SVM モデルに適合させると、高い AUC 値 (~0.9) が得られますが、精度は低くなります (~0.5)。

なぜこれが起こるのかまったくわかりません。誰かこのケースを説明してもらえますか?

ここでは auc スコアについて説明しますが、これは通常の roc_auc_score とは異なります。これについての説明がありません。それは何ですか?

どのように解釈すればよいですか : キャレット トレインのクロスバリデーション リサンプリングで AUC が非常に高いため、感度が低すぎて、トレーニングしたデータが得られません。

モデルの性能は悪いですか？