問題タブ [precision-recall]

Weka を使用して Apriori によって生成された適合率と再現率のルールを測定する方法は?

以前の投稿から示唆されているように、フォローアップの質問をしています -良い ROC 曲線ですが、精度と再現率の曲線が悪い. Python scikit-learn のデフォルト設定のみを使用しています。最適化は AUC-ROC にあるようですが、精度と再現率の最適化にもっと興味があります。以下は私のコードです。

精度と再現率を最適化できるように、Python コードを挿入して設定を変更するには、どこにどのようにすればよいですか?

LR のモデルがあり、testData でテストします。ここで、結果の精度を計算する必要があります。

精度を得ることができます：

そしてまた

spark MLLIB から、最初の精度は全体的な統計として定義されます。

しかし、ラベルによる精度と精度の違いは何ですか? (TRUE 予測率として定義される精度)。

私は、テキストマイニングを使って病気に関連する遺伝子を見つけるプロジェクトを行っています。これには1000記事を使用しています。約129個の遺伝子名を取得しました。実際のデータセットには、約 1000 のエントリが含まれています。ここで、メソッドの適合率と再現率を計算したいと思います。比較してみると、129個の遺伝子のうち、72個が正しいことがわかりました。したがって、精度 = 72/129 です。それが正しいか？では、どのようにリコールを計算できますか? 助けてください

コンテキスト:私たちは 2 人の学生で、階層的凝集クラスタリング アルゴリズムを使用した名前空間のリバース エンジニアリングに関する論文を書こうとしています。リンク方法のバリエーションや、試してみたいアルゴリズムへのその他の微調整があります。一般的な GitHub リポジトリでアルゴリズムを実行し、作成されたクラスターを元の名前空間と比較します。私たちの仕事は、この論文の仕事に密接に従います。この論文では、著者は、クラスタリング アルゴリズムの精度を測定するための「精度リコール メトリック」の使用について言及しています。ただし、メトリックとその起源を詳しく見てみると、フラットな (非階層的な) クラスター専用のようです。

質問: 精度再現率メトリックを使用して、復元されたクラスターの階層の精度を測定する方法はありますか? そうでない場合、他にどのような選択肢がありますか?

この公開ページ BCubed の適合率と再現率によると、F1-Measure 計算は、クラスタリングのパフォーマンスを評価するための最良の手法です。Amigó、Enrique などを参照してください。「正式な制約に基づく外部クラスタリング評価指標の比較」。情報検索 12.4 (2009): 461-486。

下の画像のように、BCubed の計算を示しています。

私が理解している限り、各アイテムの精度と再現率を計算し、それらの合計の平均をとりますか?

ただし、下の画像に見られるように、私の理解は与えられた評価と一致していません

クラスターの均一性の例 - 左側の画像によると、BCubed の精度を以下のように計算しますが、一致しません。

ただし、これは画像の結果と一致しません。0.59

項目の BCubed 精度は、項目のカテゴリ (それ自体を含む) を持つクラスター内の項目の割合です。全体の BCubed 精度は、分布内のすべての項目の平均精度です。平均はアイテム全体で計算されるため、クラスタやカテゴリのサイズに応じて重み付けを適用する必要はありません。BCubed のリコールも同様で、「クラスター」を「カテゴリー」に置き換えています。