DP で動作する pytorch タスクがありました。
1 つの同じネットワークが同じ重みを共有する複数の GPU にコピーされますが、各コピーは異なるデータ バッチを受け取るため、同等のバッチ サイズを増やすことでトレーニングを高速化します。
しかし今は、複数の異なるネットワークをトレーニング フローに導入したいと考えています。net_A、net_B、net_C です。それらは異なるアーキテクチャであり、重みを共有していません。
「net_A」が「node_A」の 4 つの GPU で DP の高速化を引き続き享受でき、「net_B」が「node_B」を占有するように、各ネットワークを異なるノード (4 つの GPU を備えた 1 つのノード) に割り当てることは可能ですか? ?