問題タブ [tensorflow-gpu]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
tensorflow - ミニバッチ処理用に 2 つの異なる GPU カードを組み合わせる
GTX 1080Ti を購入したばかりで、古い GTX 1070 と GTX 1080Ti の両方を並行して使用して、TensorFlow または PyTorch のいずれかでミニ バッチ処理を実行できるかどうかを知りたいと思いました。
私の主な懸念事項は次のとおりです。
GTX 1070 は GTX 1080Ti のボトルネックになるのでしょうか、それとも各カードのパワーが最大限に活用されるのでしょうか?
SLI 構成では、合計 VRAM の量が最低量のカード (ここでは 8GB または VRAM を搭載した GTX 1070) に等しいことはわかっていますが、SLI を使用しない tensorflow/pytorch でのトレーニング中に同じことが起こりますか?
tensorflow - tensorflow convnet は複数の GPU でモデルを複製するだけですか?
現在、画像認識用の Tensorflow convnet を実行しており、より複雑なグラフ、バッチ サイズ、および入力次元を有効にするために新しい GPU を購入することを検討しています。AWS GPU インスタンスを使用して convnet をトレーニングすることを推奨しないこのような投稿を読みましたが、より多くの意見をいつでも歓迎します。
Tensorflow のガイド「Training a Model Using Multiple GPU Cards」を読みましたが、GPU 間でグラフが複製されているようです。これが Tensorflow convnet で並列 GPU を使用する唯一の方法であることを知りたいですか?
私がこれを質問している理由は、Tensorflow が複数の GPU 間でしかグラフを複製できない場合、各 GPU には少なくともモデルが 1 つのバッチに必要とするメモリ サイズが必要であることを意味するためです。(たとえば、必要な最小メモリ サイズが 5 GB の場合、それぞれ 4 GB のカードを 2 枚使用しても機能しません)。
前もって感謝します！