問題タブ [confusion-matrix]

Max Khun の Applied Predictive Modeling の本に従って、キャレットがどのように機能するかを学ぼうとしていますが、キャレットの混乱マトリックス関数がどのように機能するかを理解できませんでした。

次のように glmnet を使用して、8190 行と 1073 列のトレーニング データ セット (training[, fullSet]) をトレーニングしました。

次に、適合から混同行列を出力しました。

混同行列を見たところ、次の結果が得られました。

しかし、混同テーブルに 1757 個の観測値 (1757 = 507 + 208 + 63 + 779) しかない理由がわかりません。これは、キャレットの混乱マトリックス.トレインのドキュメントに、「トレインをモデルの調整に使用すると、混同マトリックス セルを追跡する」と記載されているためです。ホールドアウトサンプルのエントリー。」トレーニング データ セットには 8190 行があり、10 倍の CV を使用したため、混同行列は 819 データ ポイント (819 = 8190 / 10) に基づく必要があると考えましたが、そうではありません。

明らかに、キャレットのtrainControlまたはtrainがどのように機能するかを完全には理解していません。誰かが私が誤解したことを説明できますか?

どうもありがとうございました。

イ・ヨンジン

テキスト文書をいくつかのカテゴリに分類しようとしています。以下のコードは正常に動作します

以下のコードを実行して精度、再現率、精度の値を取得しようとすると:

次のエラーが表示されます。

私Categoriesのtextフォーマットです。それらを変換するとcategories、Numeric上記のコードは正常に機能します。

textカテゴリをフォーマットに保ち、Precision、Recall、Accuracy の値を取得するための回避策はありますか。

私の目的は、マルチクラス分類器の精度、再現率、精度の値、および混同行列を取得することです。Multi-Class Text 分類器の上記の値を取得する他のパッケージはありますか (one vs. all)

混同行列に入れたデータを視覚化したいと思います。単純に混同行列を入れて視覚化する(プロットする)関数はありますか?

私がやりたいことの例 (Matrix$nnet は、分類の結果を含む単純なテーブルです):

私の Confusion$nnet$table は次のようになります。

キャレット パッケージを使用して、confusionMatrix 関数を使用しています。この関数は、2x2 (または 5x5 など) の行列で完全に機能します。例：

表1：

しかし、異なるサイズのテーブルがある場合:

表 2:

混乱マトリックス関数を使用せざるを得ないので、どうすればこの問題を回避できますか?

Rキャレットライブラリで、以下のような混同行列が得られた場合、全体の精度0.992を取得する方法はありますか? この値を保存して後の処理に使用する必要があるため、この単一の値を取得することはできません。これはまったく可能ですか？

全体統計

Mcnemar の検定の P 値 : NA

クラス別統計:

何百万もの混同行列があります。それらを要約したり、これらのマトリックス間の関係を見つけたりするには、どのデータマイニング方法を使用する必要がありますか? 参考になるヒントを教えていただければ幸いです。