問題タブ [autodiff]

v長さのベクトルが与えられた場合、30theano や tensorflow などの自動微分ツールは、次のような勾配を取ることができます。

これは意味がありますか？私の頭の中でそれを描く方法は、変換するために末尾の0を持つアイデンティティベクトル/マトリックスでいくつかの乗算を行う必要がありますv --> w

私は Eigen の AutoDiffScalar を使用して多くの成功を収めてきましたが、これを自分で行うのではなく、AutoDiffJacobian に移行したいと考えています。そのため、AutoDiffJacobian.h を学習した後に学習例を作成しましたが、何かがおかしいです。

ファンクタ：

使用法：

これから受け取るエラーは次のとおりです。

このエラーから、AutoDiffJacobian.h のファンクターへの 2 回目の呼び出しで、ファンクターの正しい型を取得していないように見えますが、最初の呼び出しは機能します。ここの誰かが理由を理解し、助けてくれることを願っています。おそらく私は使い方を誤解しているだけです。

編集:問題を示すコンパイル可能な例:

私はこのライブラリを使用することを学んでいます。単純な関数 を微分しようとしてy = x^2も、期待される結果が得られません ( dy/dx = 2x = 16when x = 8)。

自動微分 ( )quad_functionを使用して、次の特定の関数 ( ) を最適化 (最小化) するのが好きです。Optim.jlautodiff=true

私の目的関数は値を整数に丸めるため、階段状になります。 Real

autodiffこのオプションを使用すると、Real値が2 つの数値( ForwardDiff.Duals) になります。round残念ながら、この型に実装された機能はありませんForwardDiff.Dual。したがってroundtoint64、実数部を抽出する関数を作成しました。このアプローチは、最適化中に問題を引き起こします。

これは私quad_functionのように見える方法です：

問題は、optimize関数がすぐに収束して先に進まないことです。

結果：

optimizeまた、丸めを避けるために整数のベクトルで関数を初期化しようとしまし[5,5]たが、初期ステップ サイズを見つける際にも問題が発生します。

質問:optimize整数空間のみを探索するように指示する方法はありますか?

更新: への変換アプローチの問題は、 sInt64がなくなったForwardDiff.Dualため、導関数/勾配を計算できないことだと思います。roundネストされたデュアルも丸め、デュアルを返すより良い関数はどのように見えるでしょうか?

Numeric.AD から次の最小限の例をコンパイルしようとしています。

そして、私はこのエラーに遭遇します:

なぜこれが起こっているのかについての手がかりはありますか？前の例を見ると、これは「平坦化」gradのタイプであることがわかります。

grad :: (Traversable f, Num a) => (forall s. Reifies s Tape => f (Reverse s a) -> Reverse s a) -> f a -> f a

しかし、実際にはコードでこのようなことをする必要があります。実際、これはコンパイルできない最も最小限の例です。私がやりたいより複雑なことは、次のようなものです：

これは、コンパイルされる型シグネチャを使用した、もう少し複雑なバージョンです。

ただし、最初のバージョンのgrad2をコードで使用する方法がわかりません。 の処理方法がわからないためですReverse s a。2 番目のバージョン はgrad2'、内部コンストラクターを使用しLiftて を作成するため、適切な型を持っていますが、出力勾配がすべて 0 であるため、Reverse s a内部 (具体的にはパラメーター ) がどのように機能するかを理解していないに違いありません。s他のコンストラクターReverse(ここには示されていません) を使用すると、間違ったグラデーションが生成されます。

または、人々がコードを使用したライブラリ/コードの例はありadますか? 私のユースケースは非常に一般的なものだと思います。

私はテンソルフローが初めてで、テンソルフローの自動微分機能が私の問題を解決するかどうかを理解しようとしています。したがって、各ネットが潜在ベクトルを出力する 2 つのネットがあります。それで、私のネット A が潜在ベクトル -La(Hxr) を出力するとしましょう - (H,r) は出力潜在ベクトル La の次元を表します。同様にネット B は Lb(Wxr) を出力します。したがって、私の目的関数は 2 つの潜在変数の両方を入力として受け取り、それらを (La.Lb') のように結合します。ここで、(.) はドット積で、(') は転置を表します。クロスエントロピーを使用して、この目的関数を最適化します。

ここで私の質問は、テンソルフローの自動差分が勾配を正しく計算して逆伝播できるようになるかということです。ここでは簡単なケースではありません。ネット A は、La に関する勾配からのみ更新する必要があり、ネット B は、Lb に関して計算された勾配でのみ更新する必要があります。それで、テンソルフローはそれを理解するのに十分賢いですか? そして、これを検証する方法はありますか?

ありがとう！