問題タブ [precision-recall]

マルチラベル分類でscikitでマクロF1を計算しようとしています

ただし、エラーメッセージで失敗します

マルチラベル分類でマクロ F1 を計算するにはどうすればよいですか?

weightedsklearn.metrics.f1_scoreの平均について質問があります

まず、加重 F1 の使用を正当化する参考文献がある場合、私はただの好奇心です。その場合、加重 F1 を使用する必要があります。

次に、weighted-F1 は非推奨だと聞きましたが、本当ですか?

3 番目に、重み付けされた F1 が実際にどのように計算されているか、たとえば

上記の例の加重 ​​F1 の計算方法。(0.8*2/3 + 0.4*1/3)/3 のようなものになるはずですが、間違っていました。

マルチラベル分類器によって生成された結果があり、Python を使用してミクロ精度とマクロ精度、リコール、および F1 スコアを計算したいのですがsklearn.metrics、その方法がわかりません。

2 つのバイナリ スパース行列がdataOUTありdataGT、それぞれが同じデータセットの分類結果とグラウンド トゥルースを表しています。両方の行列のサイズはnLabels X nSamplesです。各サンプルは、1 つ以上のラベルでラベル付けできます。分類器が th 番目のサンプルをth ラベルでラベル付けした場合もそうですdataOUT[i,j]。1ji0

特定の class について、から th 行を抽出することで、通常の精度、再現率、およびiF スコアを簡単に計算でき、それらを にフィードできます。たとえば、次のようになります。idataOUTdataGTsklearn.metrics.precision_recall_fscore_support

しかし、データセット全体のミクロおよびマクロ測定値を計算するにはどうすればよいですか(dataOUT,dataGT)。ラベルごとに個別に？

どうも！

次の混同行列を取得しました。次に、精度、再現率、および FScore を計算する必要があります。取得した値を使用してそれを行うにはどうすればよいですか? 混同行列と統計

他のユーザーからの提案の後、次の編集されたコードを使用しました

1、2、および3の著者によると、Recallはリポジトリ内のすべての関連アイテムから選択された関連アイテムの割合であり、 Precisionはクエリによって選択されたアイテムのうちの関連アイテムの割合です。

したがって、ユーザーUがアイテムの上位kの推奨リストを取得すると仮定すると、それらは次のようになります。

Recall = (Relevant_Items_Recommended in top - k ) / (Relevant_Items)

精度= (上位kの Relevant_Items_Recommended ) / ( k _Items_Recommended)

その部分まではすべて明らかですが、それらとRecall rate@kの違いがわかりません。再現率@kを計算する式はどのようになりますか?

この質問に対する答えがどこにも見つからなかったので、ここの誰かが私と同じ問題を抱えている他の人を助けてくれることを願っています.

1000 個の Positive samplesと1500 個の Negative samplesがあるとします。

ここで、950 個の真陽性(陽性として正しく分類された陽性サンプル) と100 個の偽陽性(陽性として誤って分類された陰性サンプル) があるとします。

これらの生の数値を使用してPrecisionを計算する必要がありますか、それとも異なるグループサイズを考慮する必要がありますか?

つまり、私の精度は次のようになります。

TruePositive / (TruePositive + FalsePositive) = 950 / (950 + 100) = 90.476%

または、次のようにする必要があります。

(TruePositive / 1000) / [(TruePositive / 1000) + (FalsePositive / 1500)] = 0.95 / (0.95 + 0.067) = 93.44%

最初の計算では、各グループのサンプル数を考慮せずに生の数値を使用しましたが、2 番目の計算では、対応するグループに対する各測定値の比率を使用して、グループの違いによって生じるバイアスを取り除きました。サイズ

非常に大きなデータ セット ( ds) があります。その列の 1 つはPopularity、タイプfactor('High' / 'Low') です。

ds_trトレーニング セット ( ) とテスト セット ( )を作成するために、データを 70% と 30% に分割しますds_te。

ロジスティック回帰を使用して次のモデルを作成しました。

次に、predictオブジェクトを作成しました（ のためにもう一度行いますds_te）

0.5 のカットオフしきい値に対応する精度値を見つけ、0.5 のカットオフしきい値に対応するリコール値を見つけたいので、次のようにしました。

結果は多くの値のテーブルです

0.5 のカットオフしきい値に対応する特定の適合率と再現率の値を見つけるにはどうすればよいですか?

ドキュメントでは、 average_precision_score を精度リコール曲線の下の領域として説明しています。領域が何を意味するのか理解できません。

このメトリックは、生の精度スコアとどう違うのですか?