被験者が特定の認知タスクを実行するときに記録された一連のデータセットがあります。データは 16 チャネルとチャネルごとのサンプル ポイントの数で構成され、実行中の認知タスクに従ってこのデータを分類したいと考えています (すべてにラベルが付けられています)。
問題は、大量のデータ (セッションごとに約 60 試行、認知タスクごとに 30 試行) がなく、2 つのセッションがあることです。このデータを分類するために、線形判別分析 (LDA) 分類器をトレーニングしようとしています。分類器は後でリアルタイムで使用され、サンプル数ごとに何らかの形式の出力を提供します。
分類器の汎化誤差を測定するために、5 分割交差検証を使用しました。問題は、この 5 分割クロス検証を何度も実行すると、得られる結果がまったく一定にならないことです。代わりに、全体的な精度に大きなばらつきがあります (たとえば、最初の 5 分割クロス検証では平均精度が 80%、2 回目では 65%、3 回目では平均 72% など)。これは正常ですか？そうでない場合、何が原因である可能性がありますか?