私が実施している概念実証研究のために、入念にデータを収集しました。データは 40 の異なる被験者で構成され、それぞれが 60 時間間隔で測定された 12 のパラメータと 1 つの出力パラメータが 0 または 1 です。そのため、バイナリ分類器を構築しています。
入力パラメータと出力の間に非線形の関係があることを事前に知っていたので、ベイズ分類器の単純なパーセプトロンではサンプルを分類できません。この仮定は、最初のテストの後、正しいことが証明されました。
そのため、ニューラルネットワークに行き、結果がかなり良いことを願っていました. 一般的に、約 1 ~ 5% の誤差が生じます。トレーニングは、トレーニングとして 70%、評価として 30% を使用して行われます。モデルを通じて完全なデータセットを再度 (100%) 実行すると、結果に非常に満足しました。以下は典型的な混同行列です (P = 正、N = 負)。
P N
P 13 2
N 3 42
評価に 30% を使用したということで、私はノイズに適合していないと確信しています。
したがって、ダブルチェックのために SVM に解決しましたが、SVM は適切なソリューションに収束できませんでした。ほとんどの場合、解決策はひどいものです (90% のエラーなど)。SVM について十分に認識していないか、実装が正しくない可能性がありますが、NN が優れたソリューションを提供する場合、ほとんどの場合、SVM は最大マージンの超平面のためにデータを分離するのに優れていると考えていたため、私は困っています。
これは私の結果について何を言いますか? 私はフィッティングノイズですか?また、これが正しい結果であるかどうかはどうすればわかりますか?
計算には Encog を使用していますが、NN の結果は、私が作成した自家製の NN モデルに匹敵します。