parallel-processing - CPUとGPUのMPI-2

Question

MPI-2を使用してコードの並列化に取り組んでいます。私が8コアプロセッサを使用している間、それは首尾よくスピードアップしています。

CPUの代わりに同じ目的でGPUを使用した場合、どのような影響があるのでしょうか。これまでの私の調査によると、OpenMPIはGPUと互換性があり、CPUと比較してプロセッサ間通信が多い場合にのみ高速化が向上します。誰かがそれを試したことがありますか、または同じことについて何か意見がありますか？

Answer 1

GPU の並列化は、MPI の並列化とはまったく異なる方向性を持っています。GPU スレッドは MPI ランクのように動作したり、MPI 呼び出しを行ったりすることはできません。必要な意味で、実際にはスレッドでさえありません。ただし、MPI プログラムの各ランクで GPU コードを呼び出すことにより、それらを組み合わせることができます。