問題タブ [hessian-matrix]

3x3x512x512 次元の行列である vgg16 conv4_3 レイヤーのカーネルの各機能マップに関して、指定した損失の 1 次および 2 次導関数 (ヘッセ行列の対角部分) を計算したいと思います。Tensorflow ですべての二次導関数 (ヘッセ行列の対角線のみ) を計算する方法に従って、低ランクの導関数を尊重する場合、導関数を計算する方法を知っています。 しかし、上位に回ると完全に迷子になりました。

私の理解を確認するのを手伝ってください。したがって、 for conv4_3_kernel、各 dim は [Kx、Ky、in_channels、out_channels]を表すため、各特徴マップの各要素 (ピクセル) に関するGradの偏導関数である必要があります。LossそしてHessianは二次導関数です。

しかし、Hessianすべての導関数を計算しますが、どうすれば対角部分だけを計算できますか? 私は使用する必要がありますtf.diag_part()か？よろしくお願いします！

変換パレート分布を当てはめたいのですが、その後、次のデータのヘッセ行列を計算する必要があります。

このコードの結果は、正しくない単一の値のみを提供します。また、2 x 2 のヘッセ行列が必要です。前もって感謝します。

tensorflow の学習を開始したばかりで、tf.gradients および tf.hessain 関数を使用しているときに次のエラーに遭遇しました。以下は、tf.gradients のコードとエラーです。

最後の行で次のエラーが発生します

これをデバッグする方法についてのアイデアはありますか?

上記のコードを実行すると、エラーと警告が表示されます。

ここでの私の目標は、ヘッセ行列を取得し、nlmeモデルが適合しない理由を調査することです。私は目的関数を最大化しようとしているので、設定しますfnscale = -1(最大化を実行するには、負の値にする必要があるとドキュメントに記載されていoptimます)。ただし、エラーメッセージをどうすればよいかわかりません。optimヘッセ行列を出力する方法はありますか? からのエラーにより、それnlmeができなくなったようです。

次のように行列を計算しようとしてHいます。

はshapeLのテンソルで(?,N)、zは可変ベクトル shape(M)です。の各要素は、 vector の 2 つの要素に関する 2 つHの勾配のブロードキャスト積です。賢明な積の合計が必要なのに、2つの合計の積を返すため、 は機能しません。誰でも以前にそれをやったことがあります、私を助けてください。Lztf.gradients(L,z[i]) * tf.gradients(L,z[j])