sparse-matrix - GPU または CPU での疎行列乗算?

Question

どう思いますか？GPU または CPU (マルチスレッド) でスパース行列 (CSR) 乗算 (ベクトルを使用) を実行すると、どちらが速くなりますか?

Answer 1

これは、実行する必要がある行列のサイズと反復回数によって異なります。これは、行列データを CPU メモリから GPU メモリにコピーし、結果を GPU から CPU にコピーする必要があるためです。マトリックスで反復を 1 回だけ実行する場合は、GPU で実行するよりも CPU で実行する方が常に優れています。さらに、GPU は起動時間に悩まされます。したがって、実行する反復がさらにある場合は GPU を選択し、それ以外の場合は CPU を選択します。同様に、行列のサイズもデータのコピーによるパフォーマンスに影響します。

Answer 2

私の推測では、エンバラレル処理に適した種類の同種のデータ構造がないため、GPU を実装しても大きなメリットは得られないでしょう。

Answer 3

ヴェーダは的を射ていると思います。私は決してこれに関する専門家ではありませんが、GPU を動作させるにはオーバーヘッドがあり、計算のサイズが十分に大きくない場合、GPU 処理の利益はオーバーヘッドに失われると思います。ただし、多数の行列を乗算するキャラクター スケルトンのようなものがある場合、これは GPU により適しています。私は現在、私のプロジェクトのためにこれらのことも調べています。