問題タブ [convex-optimization]

私は現在、アフィン項が追加されている L2-regularized ロジスティック回帰または L2-reg 線形 SVM 問題のいずれかを解決する必要がある問題に取り組んでいます。

たとえば、私の問題は次のとおりです。

ここで、v は定数ベクトルです。

もちろん、これは凸の問題であり、通常の方法で解決できますが、この種の大きな問題を解決する必要があるため、liblinearなどの標準ライブラリを使用したいと考えています。

私の質問は、この問題が標準のヒンジ損失 SVM またはロジスティックと同等になるように、データ x、ラベル y、または重み係数 C (おそらくインスタンスごとに異なる C_i に) を変換する方法があるかどうかです。回帰問題？

凸型の最適なライブラリをお勧めしますか？

理想的にはオープンソース。半正定値計画法とQCQPのアプリオリ。

（私はfsharpで使用するつもりですが、どのdotnetでも使用できます）

私はcplex Java APIを使用しています。

次のコードが使用されます。

したがって、2 つのブール値ベクトル x と y を使用するだけです。このスニペットは、たとえば inst.getSize() が 25 の小さいインスタンスでは問題なく動作します。ただし、サイズが 40 のインスタンスでは、最後の行でクラッシュします。

何かアイデアはありますか？私はそれを働かせる必要があります...

MATLAB で凸最適化問題の収束を高速化したいと考えています。

私の目的関数は 3 つのパラメーターを持つ凸状で、最大化のために勾配上昇を使用しています。

現在、新しいパラメーター値と古いパラメーター値の差が非常に小さい (約 0.0000001) という終了条件で反復を手動で記述しています。最適解に収束したことを保証するものではないため、反復回数に基づいて終了することはできません。

そのため、収束には多くの時間がかかります - ほぼ 2 日です! これをスピードアップする方法はありますか？

実際、私の目的関数には 3 つのパラメーターしかありません。最初のパラメーターの値が 2 番目のパラメーターの値よりも大きくなければならないことはわかっています。

そのため、初期条件から開始して、2 番目のパラメーターの値が急速に増加し始めます。あるポイントに達すると、最初のパラメーターの値が急速に増加し始めます。最初のパラメーターの値が増加し始める間、2 番目のパラメーターの値はゆっくりと減少し始めます。最終的に、最初のパラメーターの値が2番目のパラメーターの値よりも大きくなります。

プロセスをスピードアップする方法はありますか？2日間はとても長いです。さらに、勾配の計算にも時間がかかります。多くの行列計算が必要です。

parameter1 の値が 2 番目の値よりも大きいような、定義済みのパラメーター値から始めたくありません。また、最初のパラメーターが常に 2 番目のパラメーターよりも大きくなければならないというわけではありません。どのパラメーター値を大きくする必要があるかはわかっています。助言がありますか？

凸最適化にfminunc関数を使用しようとしています。ただし、私の場合、logxに関して勾配を取っています。私の目的関数をFとします。そうすると、勾配は次のようになります。

それで

これをfminuncで実装するにはどうすればよいですか？

fmincon 関数にいくつかの制約を追加したいと考えています。3 つのパラメーターすべてが 0 より大きい値を持つ必要があるような 3 つのパラメーターがあります。matlabでfmincon関数を使用してこれを実装するにはどうすればよいですか

Matlab でさまざまな凸包関数を使用して、凸包を形成するポイント座標を見つけます。ただし、これらの関数は三角形の行列を返します。それらのポイントを指定するにはどうすればよいですか? ありがとう。セピデ

実装した凸最適化手法のパッケージ (勾配降下、共役勾配、BFGS など) の一連のテスト問題を作成したいと考えています。

理想的には、問題の正確な解決策を知り、これらのアルゴリズムが十分に近い答えを得たことを確認します。

現在、私は多変量ガウスの最尤法を行っています（そして、閉じた形式の答えではなく、上記の勾配ベースの方法を使用しています）。

他に何がお勧めですか？

この単純な最適化問題を解決するために CVXOPT を使用しています。

明らかに、これには本当に簡単な解決策があります

(残りはすべて0)

しかし、cvxopt は完全に間違っています。これが私がすることです：

(上記はすべて「行列」タイプの cvxopt です)

print glpk.ilp(c,G,h,A,b,I=set([0,1,2,3,4,5]))[1]

GLPK の出力に必要なヘルプ。一部の制約は (意図的に) 満たすことができません。GLPK は「PROBLEM HAS NO INTEGER FEASIBLE SOLUTION」を出力しますが、解決策のステータスとして「最適」を返します。

すべての許容レベルを 0 に設定しました

これが出力です

必要な動作は、「問題に整数の実行可能な解決策がない」場合に失敗を示すことです。

ありがとう。