問題タブ [sgd]

私は最近、https: //arxiv.org/abs/2102.07501 で説明されているように、Annealed Flow Transport Method の実装に取り​​組んでいます。ある時点でのタスクは、SGD を使用して正規化フローを学習することにより、特定の損失関数を最小化することです。この問題がもたらすいくつかのトピックについて多くの論文を研究しましたが、アイデアを結び付ける方法がわかりません。だから、ここに問題があります：

分布 p のサンプル (x_1,...,x_N) が与えられたとします。ここで、(T(x_1),...,T(x_N)) がターゲット分布 q の適切なサンプルになるように、各粒子を輸送する正規化フロー T を学習したいと考えています。前述のソースで説明されているように、これは T(p) と q のカルバック ライブラー ダイバージェンスを最小化することによって行われます。結果として得られる損失関数 (最小化したい関数) には、L または L(T) というラベルが付けられます。

著者はアルゴリズムを非常に詳細に説明していますが、この時点では「L を最小化するために SGD を使用して T を学習する」とだけ述べています。

私の意図は、TensorFlow と Keras を使用し、L をカスタム損失関数として使用し、著者が示唆するように Adam オプティマイザを使用することでしたが、現状では、ここに私のコードがあります:

既存のコードの検索がうまくいかなかったので、アドバイスをいただければ幸いです。

どうもありがとう、クリスチャン

私はこのアルゴリズムに従ってオプティマイザーを書いてみました: アルゴリズム 私がアルゴリズムを取った記事 (5 ページ): https://arxiv.org/pdf/2106.02720.pdf

しかし、私の解決策は何も最適化していません。修正しようとしたら、d_pがゼロだけで構成されていることがわかりましたが、理由がわかりませんでした(

私を助けてください、私は最適化の初心者であり、コードで多くの間違いを犯した可能性があります(