cuda - 複数の GPU にデータを分散するためのガイダンスが必要

Question

現在、GPU クラスター用の機械学習ツールキットを開発しています。複数の GPU でロジスティック回帰分類器をテストしました。

私は Master-Worker アプローチを使用しています。このアプローチでは、マスター CPU が複数の POSIX スレッドを作成し、マトリックスが GPU 間で分割されます。

しかし、私が抱えている問題は、単一のマシンに保存できない大きな行列を保存する方法です。ノード間でデータを共有するためのライブラリやアプローチはありますか?

Answer 1

マトリックスの大きさはわかりませんが、数週間前にリリースされたCUDA4.0を確認する必要があります。主な機能の1つは、複数のCUDAデバイス/GPU間での共有メモリです。