2 つのクラスで構成される分類問題を解決するために、さまざまな分類子を使用しています。もちろん、最適化問題として扱いたいハイパーパラメータを調整する必要があります。コスト関数は (クロス検証された) 精度です。次の 3 つの異なる最適化問題があります。
連続パラメーター + 最適化する 1 ～ 2 個の整数値パラメーター (おそらく、整数値パラメーターを削除して個別に最適化することができます) パラメーターの範囲制約 (下限と上限) いくつかのパラメーターの等式制約 => sum(w(i) ) = 1 (重みパラメーター w(i) の場合) ここで、0 <= w(i) <= 1 です。重みは、SVM の重み付き RBF カーネルで使用されます。
連続パラメータのみ パラメータの境界制約
整数値パラメーターのみ パラメーターの境界制約
Matlab の fminsearch 関数を使用して Nelder-Mead から始めましたが、これは 1. と 3. には最適ではないようです。これら 3 つのタイプに使用する最適化手順はどれですか? 1 つの可能性は、Matlab の ga 関数を使用した混合整数プログラミングですが、ドキュメントによると、等式制約が問題になる可能性があります。
さらに、文字列 (ユークリッド距離など) である距離メトリック パラメーターがあります。最適化手順でこれを整数として扱う必要がありますか? たとえば、ユークリッドを 1、マハラノビスを 2 などにマッピングします。
その上、追加の問題は極小値です。これをどのように効率的に解決できますか (少し時間がかかるランダムな再起動を使用せずに)?