入力サンプルの 6 つの可能なクラスを識別できる分類子をトレーニングする必要があります。また、拒否オプションを考慮した場合と考慮しない場合の分類子のパフォーマンスを推定するためのコスト マトリックスもあります。
これまでのところ、クロス検証( leave-one-out ) を使用して、データセットをトレーニング セットと検証セットに分割して、分類子のパフォーマンスを測定できるようにしました。精度に関しては、次の結果に達しました。
- 多層パーセプトロン: 拒否オプションなしで 57,69%、拒否オプションありで 48,26%
- サポート ベクター マシン: 拒否オプションなしで 61,99%、拒否オプションありで 35,09%
コストに関しては（これらは最小リスク分類ルールを使用して得られた見積もりです）：
- MLP : 拒否オプションなしで 2,0028、拒否オプションありで 1,4965
- SVM : reject オプションなしで 1,6089、reject オプションありで 0,8502
そのため、どの分類子が優れているかがわからないところまで来ました。
もちろん、SVM は非常に低コストですが、拒否オプションを考慮すると、その精度がかなり悪いことに突然気付きます (MLP よりも 13% 低い)。
精度に関しては、MLP は SVM よりも優れていると言えます。これは、その平均精度 (リジェクト オプションの有無を考慮して) によるものです: 52,97% (MLP) 対 48,54% (SVM)。
しかし、SVM は平均コストの点で優れています: 1,74965 (MLP) 対 1,22955 (SVM)。
この決定を容易にするためのガイドラインはありますか?
編集（リクエストに応じて詳細情報）：データセットには、〜1250の機能を持つ〜700のサンプルがあります。ただし、機能選択を使用して、機能を 81 に減らしました。
テスト セット (私は持っていません) は ~700 サンプルになります。