問題タブ [momentum]

ニューラル ネットワークのトレーニングには、いくつかのオプティマイザーがあります。しかし、Momentum と SGD は常に、適応型の方法よりも優れているように見えます。

現在、他の人の結果を再現するためにテンソルフローでプログラムを書いています。彼らは運動量を使って訓練しpylearn2ます。しかし、いくつかのパラメーターがあります: モメンタム ファクター、ウェイト スケール、バイアス スケールです。ドロップアウト レイヤーのウェイトとしてウェイト スケールを割り当てます。

ネットワークをトレーニングするときは、Momentum を使用します。ただし、結果はトレーニングが難しすぎるようで、常に損失が大きくなります。adam を使用してトレーニングした場合の結果は悪くないように見えますが、0.00X での結果は彼よりも悪いです。

Momentum オプティマイザーのチューニング方法を知りたいです。また、自分のプログラムがうまく動かない理由も知りたいです。

この質問のバリエーションは以前にも尋ねられましたが (例:こことここ)、まだ決定的な答えはありません。

IOS 用に構築された Cordova アプリケーションで、スクロールの勢い/慣性/減速の部分でスクロール イベントをトリガーする (そしてこれらのリスナーを使用して DOM を更新する) 方法はありますか?

5.5 年前のこの記事では問題の概要を説明していますが、それは5.5 年前のことです。確かに回避策があるはずですよね？右？？

これは、ラグ変数データをソートする方法です

残りは知らない

pytorchのドキュメントを見た後、GroupNormのモジュールが運動量で見つかりませんでした。それを使用しない実装しかありません (私はAdaBNまたはAdaGNを使用したいので、これは役に立ちません)。 .

したがって、私の考えは、BatchNormクラスを取得してnum_groupsで拡張し、最初に入力を再形成してチャネルをグループ化することで平均と分散を実際に計算するメソッドをオーバーライドし、GroupNorm の動作をエミュレートすることでした。

これを行うために、torch.nn.functional.batch_normで行き止まりが見つかるまでソースコードを調べました。その関数は内部的に別の関数を呼び出しますtorch.batch_norm(...)が、そのソース コードが見つかりませんでした。

その部分をどこで探すか知っていますか？それとも、これを実装するためのより良い方法があると思いますか? 他の方の作品をネットで探してみたのですが、未完成のものしか見つかりませんでした。