私の質問が明確でない場合は、より具体的な例を挙げてみます。
線形 SVM モデルのコスト パラメーターに適合させるために、ak フォールド クロス検証を実行しています (R で LiblineaR パッケージを使用しています)。したがって、コスト値ごとに k 個のモデルがあり、それぞれが異なるが重複するデータセットのサンプルでトレーニングされます。次のステップは、トレーニング セット全体でモデルをトレーニングし、k フォールドのいずれにも含まれていない検証セット (標準) でテストすることです。
私が取り組んでいる問題では、偽陽性は偽陰性よりもコストがかかると考えられているため、k フォールドのそれぞれで、加重精度測定に基づいて決定しきい値を調整しています。私の質問は、k 個のモデルのそれぞれに対して決定しきい値が選択されたら、これらの決定しきい値の平均を取り、これを最終的なモデル出力に適用することは理にかなっていますか?
たとえば、コスト 1 が最適であることが判明し、コスト 1 でトレーニングされた k=4 モデルがあるとします。これら 4 つのモデルの調整された決定しきい値は 0.12、0.14、0.04、0.02 であり、平均は 0.08 です。次に、データセット全体でコスト 1 を使用してモデルをトレーニングする場合、決定しきい値として 0.08 を使用できますか?
それとも、異なるサンプルでトレーニングされたモデルからの決定値は比較できないのでしょうか? その場合、平均を取ることは無意味になりますか?