問題タブ [mini-batch]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - モメンタムと減衰を正しく実装する方法 - SGD
ミニバッチ SGD に運動量と減衰を適用しようとしています: 重みを更新する正しい方法は何でしょうか。減衰が設定されるとすぐに奇妙な結果が得られます..
parallel-processing - Pytorch を使用して複数のノードに異なるモデルを配布する方法は?
DP で動作する pytorch タスクがありました。
1 つの同じネットワークが同じ重みを共有する複数の GPU にコピーされますが、各コピーは異なるデータ バッチを受け取るため、同等のバッチ サイズを増やすことでトレーニングを高速化します。
しかし今は、複数の異なるネットワークをトレーニング フローに導入したいと考えています。net_A、net_B、net_C です。それらは異なるアーキテクチャであり、重みを共有していません。
「net_A」が「node_A」の 4 つの GPU で DP の高速化を引き続き享受でき、「net_B」が「node_B」を占有するように、各ネットワークを異なるノード (4 つの GPU を備えた 1 つのノード) に割り当てることは可能ですか? ?