classification - t検定を使用してデータセットの分類器を比較するにはどうすればよいですか?

Question

任意の t 検定を使用して、データ セットの分類子を比較したいと考えています。ここで私の質問は、この比較に何を使用する必要があるかです。元。分類子 1 精度、精度、再現率などの列を作成します。分類子 2 についても同じです。その後、任意の t 検定を適用します。これは論理的ですか？そうでない場合、どうすればこの比較を行うことができますか? そして、この比較を行うことができるツールはどれですか?

前もって感謝します

Answer 1

基本的な質問は、何を表示しようとしているのかということです。

精度の分布 (または、さまざまなデータセットで測定するもの: 再現率、精度など) が正規分布していることを確信している限り、提案 (t 検定) を試すことができます。私の意見では、それらがそうなるかどうかは明らかではありません。

データセットに対する 2 つの分類子のパフォーマンスを比較するには、通常、ROC 曲線を計算し、通常は等誤差率または曲線下面積 (AUC) を使用します。AUC は、Mann-Whitney U 統計に関連付けられています。

固定データセットで 2 つのバイナリ分類器を比較するときに一般的に行われるもう 1 つのことは、マクネマー検定を評価して、パフォーマンスの差が統計的に有意であるかどうかを評価することです。