num_workers=32forDataLoaderでPyTorch トレーニング プログラムを実行すると、それぞれ 32 GBと 15 GB のhtop33 の Python プロセスが表示されます。VIRTRES
これは、PyTorch トレーニングが 33 プロセス X 15 GB = 495 GB のメモリを使用していることを意味しますか? htopは、約 50 GB の RAM しかなく、128 GB の RAM を持つマシン全体で 20 GB のスワップが使用されていることを示しています。では、この不一致をどのように説明すればよいでしょうか。
メインの PyTorch プログラムとそのすべての子 DataLoader ワーカー プロセスによって使用されている RAM の合計量を計算するより正確な方法はありますか?
ありがとうございました