問題タブ [automatic-differentiation]

[B]次の[C]ような微分演算子の 2 つの行列が必要です。

これは、次のようなベクトル フィールドのカールの計算にも適用できます。

Sympy を使用してこれを解決するには、次の Python クラスを作成する必要がありました。

微分演算子の行列が左側で乗算されている場合、このクラスだけで解決します。ここでdiffは、微分する関数がわかっている場合にのみ実行します。

微分演算子の行列が右側で乗算されている場合の回避策__mul__として、コア クラスのメソッドをExpr次のように変更する必要がありました。

これはかなりうまく機能しますが、これを処理するためのより良いネイティブ ソリューションが Sympy にあるはずです。誰がそれが何であるか知っていますか？

私は現在、行列形式で配置できる微分演算子を開発しています。sympyこの場合、オブジェクトargsを作成するときのリストの順序はMul、差別化が必要な場所でのみ実行されることを保証するために非常に重要です。

問題は、次の場合です。

(t, x, z)若干の並び替えがあったので復帰args。argsソートされないようにするには？

Rでは、最適化問題に目的関数と制約のみを指定すると、ヤコビ/ヘッセ/スパースパターンを分析的に見つけることができますか?

AMPL はこれを行い、MATLAB でもこれを行うことができると聞いていますが、これに Knitro が必要かどうかはわかりません。

ただし、R のすべての最適化ツール (nloptr など) では、勾配と Hessian を自分で入力する必要があるようです。複雑なモデルを扱っているため、これは非常に困難です。

バックプロパゲーションのウィキペディアのページには、次の主張があります。

勾配を計算するためのバックプロパゲーション アルゴリズムは何度も再発見されており、逆累積モードでの自動微分と呼ばれるより一般的な手法の特殊なケースです。

誰かがこれについて説明して、素人の言葉で言えますか? 差別化されている機能は何ですか？「特例」とは？使用されるのは随伴値自体ですか、それとも最終的な勾配ですか?

更新:これを書いてから、これがDeep Learning bookのセクション 6.5.9でカバーされていることがわかりました。https://www.deeplearningbook.org/を参照してください。また、Haber と Ruthotto による「深層ニューラル ネットワークの安定したアーキテクチャ」というテーマについては、この論文が有益であることがわかりました。

私の Theano プログラムでは、テンソル行列を 2 つの部分に分割し、それぞれが誤差関数に異なる寄与をするようにしたいと考えています。自動微分がこれをサポートしているかどうか、誰にも教えてもらえますか?

たとえば、テンソル行列変数 M を M1=M[:300,] と M2=M[300:,] に分割したい場合、コスト関数は 0.5* M1 * w + 0.8*M2 として定義されます。 * w. T.grad(cost,w) でグラデーションを取得することはまだ可能ですか?

または、より具体的には、総コストへの貢献度が異なるさまざまな機能を持つオートエンコーダーを構築したいと考えています。

私の質問に答えてくれてありがとう。

Vector に基づく非常に単純な Matrix 定義を考えると、次のようになります。

（デモンストレーションの目的で... hmatrixを使用していますが、何らかの問題があると思いました）

エラー関数 ( eq3):

コンパイラがこれで正しい型を推測できないのはなぜですか?

正確なエラー メッセージは次のとおりです。