問題タブ [precision-recall]

F1 測定は適合率と再現率の調和平均であることを理解しています。しかし、F1 測定の良し悪しを定義する値は何ですか? 私の質問に答える参考文献（グーグルまたはアカデミック）が見つからないようです。

Apache Spark で分類を行っていますが、結果をどのように解釈すればよいかわかりません。auROC は非常に悪い (0.53) ですが、auPR は非常に高い (0.79) です。

これらの結果は少し矛盾しているように思えますが、これをどのように解釈すればよいでしょうか?

システムの最も有名な測定の 1 つは、そのとinformation retrievalを計算することです。どちらの場合も、関連するドキュメントの総数を計算し、システムが返したドキュメントと比較する必要があります。私の質問は、次のシナリオで関連ドキュメントをどのように見つけることができるかということです:precisionrecallsuper set

学術論文の完全な名前を受け入れ、いくつかのアルゴリズムに基づいて、関連する論文のリストを返すことを仕事とする学術検索エンジンがあるとします。ここで、システムの精度が高いかどうかを判断するために、精度と再現率を計算します。しかし、関連する一連の論文をどのように作成できるかわかりません - 検索エンジンは、さまざまなユーザーのクエリに関してそれらを返す必要があります - それに応じて、適合率と再現率を計算します。

私の最後の仕事は検索エンジンを作ることです。私はsolrを使用して、後でコーパスとして使用されるオントロジーからデータにアクセスして取得しています。私はこれら (情報検索、オントロジー、python、および solr) のことはまったく初めてです。

情報取得には、クエリ結果を評価するためのステップがあります。これを評価するために、Precision、Recall、および ROC スコアを使用する予定です。solr で関数を使用して、適合率、再現率、および ROC のスコアを計算する方法はありますか? solrインターフェースから、または背後にあるコードでさえ問題ではありません。

DB でいくつかの検索手法を適用して、ユーザーの質問に対する回答を返す IR システムを開発しました。f1-Score でパフォーマンスを評価したいのですが、結果の状態が正しいか正しくないかのいずれかになる可能性があるため、TP、TN、FP、FN が何であるかについて少し混乱します。何か案は？それともより適切なテストですか？

最近準備したデータセットで既製のアルゴリズムの精度と再現率を計算しています。

これはバイナリ分類の問題であり、作成した各分類子の精度、再現率、および f スコアを計算しようとしています。

build classifier メソッドは、基本的に分類器を構築し、トレーニング データに適合させ、test_x (テスト データの特徴)、test_y (グラウンド トゥルース ラベル)、predict (分類器によって行われた予測)、red_prob (LogisiticRegression.predict_probaメソッドからの予測確率) を返します。 .

以下は、精度と再現率を計算するためのコードです。

なぜ精度配列と再現率配列なのかわかりません。それらは単一の数字であるべきではありませんか？

精度はtpf/(tpf+fpf)定義として計算され、同様にリコールされるためですか？

次のコードで精度と再現率の平均を計算することは知っていますが、tpf、fpf、精度、再現率の代わりに配列を見ると、何が起こっているのか疑問に思います。

編集:ただし、パラメーターがないaverageとpos_label、各クラスの精度が報告されます。誰かがこれら 2 つの方法の出力の違いを説明できますか?

分類器のクラスの再現率と精度の値を取得する簡単な解決策があるかどうか疑問に思っていましたか?

状況を説明するために、Denny Britz コード ( https://github.com/dennybritz/cnn-text-classification-tf ) の助けを借りて、Tensorflow を使用して 20 クラスの CNN 分類子を実装しました。

text_cnn.py の最後でわかるように、彼はグローバル精度を計算する単純な関数を実装しています。

さまざまなカテゴリの再現率と精度の値を取得するために同様のことを行う方法についてのアイデアはありますか?

私の質問はばかげているように聞こえるかもしれませんが、正直に言うと、これで少し迷っています。助けてくれてありがとう。