concurrency - CUDA アトミック操作と同時カーネル起動

Question

現在、複数のストリームを使用して同時に起動される複数のカーネルを使用する GPU ベースのプログラムを開発しています。

私のアプリケーションでは、複数のカーネルがキュー/スタックにアクセスする必要があり、アトミック操作を使用する予定です。

しかし、同時に起動された複数のカーネル間でアトミック操作が機能するかどうかはわかりません。GPU でのアトミック操作の正確なメカニズムを知っている人、またはこの問題の経験がある人を助けてください。

Answer 1

アトミックは GPU の L2 キャッシュ ハードウェアに実装されており、すべてのメモリ操作が通過する必要があります。ホストとデバイスのメモリ間、または異なる GPU 間の一貫性を保証するハードウェアはありません。ただし、カーネルが同じ GPU で実行され、その GPU のデバイス メモリを使用して同期している限り、アトミックは期待どおりに機能します。