問題タブ [pytorch-lightning]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
257 問題
0
投票する
0
に答える
6
参照
pytorch - Pytorch Lightening でのトレーニング中のモデルの切り替え
増分学習で知識の蒸留を経験しています。基本的に、各フェーズで新しいモデルを初期化し、現在のデータで学生モデルとしてトレーニングし、古いモデル (前のフェーズでトレーニングされたもの) を教師として使用します。これまでのところ、コードにエラーはありませんが、問題は、各フェーズの後に損失が減少しないことです。また、 PL で on_train_epoch_start で新しいオプティマイザを初期化する方法はありますか?