cuda - CUDA カーネル関数のコードは GPU-RAM に一度にアップロードされますか、それとも呼び出しごとにアップロードされますか?

Question

CUDA カーネル関数の実行コードは、プログラムの起動時にすぐに GPU にアップロードされますか、それともカーネル関数が呼び出されるたびにコードがアップロードされますか? または、どのような場合にいずれかの方法になる可能性がありますか?

これは、プログラミング方法の選択に大きく影響する可能性があります。

• CPU ホストからのカーネル関数への多数の呼び出し
• 動的並列処理の使用と、GPU デバイスからのカーネル関数への多数の呼び出し

Answer 1

CUDA ランタイム API を使用すると、カーネル コードがデバイスに 1 回ダウンロードされます。これは、CUDA ランタイム コンテキストの作成直後に暗黙的なアクションとして発生します。CUDA ドライバー API を使用する場合、アプリはカーネルをダウンロードするタイミングと頻度を制御できます。これは現在 CUDA のドキュメントでカバーされていないようです。そのための拡張リクエストを提出します。