問題タブ [confusion-matrix]

宿題

アルゴリズムのパフォーマンスを視覚化するために、混同行列以外の別の形式の評価が必要です。

森林ポリゴンのデータセットがあり、混同行列を使用してフィールド分類とマップ分類を比較しようとしています。大規模なデータセット (2 つ以上の分類オプション) で実行され、テキスト値を比較できる唯一のパッケージは、パッケージ 'mda' にありました。パッケージ「mda」を実行し、「混乱」のコードを使用しました。

パッケージで提供される例は...

私は単純に私のものを実行します

これにより、提供されたコード例と同様の (ただし、それほどきれいではない) 混同行列の出力が得られます。この時点で私は道に迷います。私は私のもので2つの結果を持っています。

エラーはわかりましたが、不一致ですが、オンラインまたはパッケージに付属の文献の中にヒントが見つからないようです。「不一致」の値がこれほど高いのは良いことではないと思いますが、それをどのように解釈すればよいかわかりません。これはおそらく、以前にこのパッケージを扱ったことのある人だけが答えることができるかなり具体的な質問だと思いますが、誰かが知っているか、見つける方法についてのヒントを持っているなら、私は大いに感謝します.

ありがとう、アイデン

編集- 私のデータセットのクリップを含めて、何が不一致であるかを示します (一貫した誤分類を意味すると思われます)。最も一貫性のある誤分類のクリップを表示します。

R の混同行列の精度と精度を計算するために利用できるツール/R パッケージはありますか?

数式とデータ構造はこちら

異なる分類器（LDA、SVM、KNN）を使用して2つのクラスを含むデータセットを分類しようとしていますが、それらのパフォーマンスを比較したいと思います。事前確率を変更して、LDAのROC曲線を作成しました。

しかし、KNN分類器に対して同じことをどのように行うことができますか？

ドキュメントを検索して、いくつかの関数を見つけました。

1. Class = knnclassify(Sample, Training, Group, k)
2. mdl = ClassificationKNN.fit(X,Y,'NumNeighbors',i,'leaveout','On')

（a）を実行し、leave-one-out交差検定を使用して混同行列を取得できますが、ROCを作成するために事前確率を変更することはできませんか？

これまで（b）を試したことはありませんが、これにより、mdl.Priorを変更できるモデルが作成されます。しかし、混同行列を取得する方法がわかりません。

私が見逃したオプションや、ROCを取得するためにそれらの機能を完全に使用する方法を説明できる人はいますか？

私は最近、この論文で説明されているものに基づいて、Bag of Words 分類アルゴリズムを実装しました。

すべてうまくいきますが、ROC 曲線または精度再現率グラフを使用して分類器の精度を測定したいと思います。

各分類子の混同行列を簡単に取得できますが、より多くのポイントを取得して実際に曲線をプロットするには、どのパラメーターを変更する必要があるかわかりません。

誰かが私にこれを説明してもらえますか?

ここで見つけたコードを使用して、最初の混乱ヒートマップを作成しました。

結果として、予測データと実際のデータが密接に関連していることを示す「増加する」対角線を持つ非常に優れたプロットが得られました。さて、他の混同行列を調べると、それらはすべて「減少」する対角線を示しており、プロットをそのように適応させるべきかどうか疑問に思っています (もしそうなら、どのように?)。

それに関するアイデアはありますか？

2 つの異なるリスト: gold_labels と予測されたラベルを使用して、sci-kit Learn で混同行列を作成しています。

ゴールドラベル/予測ラベルは次のようになります: (文字列のリスト)

混同行列が生成され、見た目はきれいですが、ラベルはインデックス (0,1,2) であり、0 が "hello" または "apple" にマップされるかどうかわかりません。したがって、2 つの質問があります。 pl で生成された混同行列にラベルを表示する方法

このページを使用してロジスティック回帰を実行しています。私のコードは以下の通りです。

このコードを実行すると、mydata データフレームには「admit」と「prob」の 2 つの列があります。ROC 曲線を取得するには、これら 2 つの列で十分ではないでしょうか?

ROC 曲線を取得する方法を教えてください。

次に、mydata を見ると、モデルは の確率を予測しているようですadmit=1。

あれは正しいですか？

モデルが予測している特定のイベントを見つける方法は?

ありがとう

更新: 以下の 3 つのコマンドは非常に便利なようです。それらは、最大の精度を持つカットオフを提供し、ROC 曲線を取得するのに役立ちます。

私はRに非常に慣れていないので、混同行列から生じる分類エラー値をどのように保存できるか知りたいと思っていました: 例:

分類誤差値 0.02 を取得して、どこかに保存したいと考えています。どうやってやるの！？