問題タブ [hessian-matrix]

scipy.minimize を使用して対数尤度関数を最小化し、パラメーターに関連付けられた標準誤差を計算したいと考えています。

パラメータが制限されていない場合、numdifftools (nd.Gradient および nd.Hessian) を使用すると完全に機能します。nd.Gradient は、関数が定義されていない境界外のパラメーターの値を使用して関数を計算しようとするため、パラメーターが制限されている場合に問題が発生します。

ステップに関連するオプション (step_max、step_nom など) を使用する必要があると思いますが、それらがどのように機能するのかわかりません。それらの使用方法を理解するのを手伝ってくれる人はいますか?

ありがとう

私は theano 勾配とヘシアンのベクトル化されたバージョンを取得しようとしています。つまり、以下に示すように、行列で指定されたいくつかの点で勾配とヘシアンを計算したいと考えています。

私は機能を持っています：

1 つのコマンドで複数のポイントでその勾配を計算したいと考えています。私はこれを次のように行うことができます：

行が点 (1,2) と (3,4) で計算された勾配である行列を返します。私はヘッセ行列に対して同じ結果を得たいと思っています（この場合、行列とは対照的に3次元テンソルになりますが、同じ考えです）。次のコード:

エラーを返します:

次のコードで適切な結果を得ることができました

しかし、それは多くの不要なゼロを生成し、目的の結果を得るための非効率的で「醜い」方法のように思えます。誰かが同様の問題を抱えていましたか、何か提案できますか?

MatLabを使用して QP/LP 問題を解決したいと考えてCVXGENいます。の方がはるかに高速であるため、 CVXGENoverを優先します。特に解決したいのはCVXCVXGEN

ここf(x)で、 は二次形式であり、Xコンパクトで凸であり、線形関数によって定義されます。問題のサイズは実行によって異なります。手続きをできるだけ自動化したい。CVXGEN説明のために、コードの例を次に示し ます。

このコードは で入力しcvxgen.comます。この Web サイトで、一意の番号を与える C コードを生成できます。次に、一意の番号を使用して、これを MEX コードにコンパイルできます。最後に、次のコードを実行して、この MEX コード ( csolve) を MatLab から呼び出すことができます。

ただし、この手順では、実行する問題の次元ごとに、に移動し、 を変更し、コードをコンパイルnしてから、コードを実行する必要があります。パラメータとして入力させることはできますか？このように、コードを 1 回コンパイルするだけで済みます。次に、コード セット内でとを呼び出し、次に を呼び出します。cvxgen.comnMatLabnMatLabparams.n = nparams.Q = eye(n,n)[vars, status] = csolve(params);

以前にこの質問をしましたが、他のことをいくつか試してみましたが、うまくいかなかったので、フォローアップを続けたいと思いました.

私は基本的に、バイナリと整数の制約がある R の NLP 型の問題を最適化しようとしています。同じコードは次のとおりです。

次の警告/エラーが表示されます。

私が理解しているのは、ヘッセ行列は疎行列であるため、反転に問題がある可能性があるということです? また、この最適化を行うためのより良い方法があるかもしれません。複雑な問題のようには見えず、ここでかなり簡単なものが欠けていると感じているからです!

問題の説明は、この質問で詳細に説明されています。

どんな助けでも大歓迎です。

私は Mnist 数字分類にロジスティック回帰を使用しており、statsmodel.api ライブラリを使用してパラメーターに適合していますが、Logit.fit() はまだオーバーフロー警告をスローしています。 ://www.lfd.uci.edu/~gohlke/pythonlibs/ .