1

異なるデータ マイニング アルゴリズム間で 3 種類の比較を実行する必要があります。

問題のある比較の唯一のタイプは、最も基本的なものであり、単一のデータセットに対する2つのアルゴリズムです-私にとって問題のあるものです。

私は、McNemarと5x2CVを選択の選択肢として言及し、リサンプリングされた t 検定は実行不可能であると述べているディートリッヒ (1998)の論文を知っています。分析は、サブサンプル、60:40 トレーニング: テスト分割、および総コストをパフォーマンス測定として使用するより大きなセットアップの一部を形成するため、これらを使用することはできません。

この場合、パフォーマンスを評価するために他にどのようなオプションがありますか?

  • 符号検定: 2 つのアルゴリズムのそれぞれのパフォーマンスが優れているケースの数を数えるだけで、その後、二項分布を使用して p 値をチェックします。非常に弱いので問題あり。

  • Wilcoxon-signed-rank-test: t 検定のノンパラメトリックな代替手段として、私が最初に考えたものですが、この種の比較についてどの論文にも言及されていません。数回の繰り返し。それは実行不可能ですか?もしそうなら、それはなぜですか?

4

1 に答える 1

0

この 2 つの間の明らかな違いの 1 つは、ウィルコクソンの符号付き順位検定では、ペアの 2 つのメンバー間の差を計算し、これらの差をランク付けする必要があることです。ペアの各メンバーについて持っている唯一の情報が、データマイニング手順がメンバーのクラスを正しく推測したかどうかである場合、可能な符号付きランクは 3 つだけです - -1、0、1、および Wilcoxon 符号付きランク検定これはマクネマー検定と同等であり、実際には符号検定のおおよそのテール値を計算する方法にすぎません。ペアの 2 つのメンバーからの結果を比較することは理にかなっており、それらを減算して数値を取得することは理にかなっていない場合は、再び符号検定に戻ります。

これは、多くの統計テストを行うための演習のように聞こえますが、これが現実の何かである場合、最初に考えたのは、なぜデータマイニング演習を実行することに本当に関心があるのか​​ を解明することです.おそらくこれをお金の条件、そしてそれを最もよく表しているテストを探します。

于 2013-09-11T04:16:54.853 に答える