cuda - cubin は最も効率的な展開形式ですか?

Question

展開サーバーの OS バージョンとデバイスの機能を事前に知っているとします。cubin はデプロイするのに最も効率的なファイルですか?

Answer 1

デバイス オプションに関してコードがどのようにコンパイルされたかという観点から実行時間に大きな影響を与える唯一のものは、JIT コンパイルです。

JIT キャッシュがデバイス固有のコンパイル済みバージョンを保持するのに十分な大きさであると仮定すると、この影響は、アプリが初めて実行されたときにのみ感じられるはずです。その後、JIT キャッシュには正しいコードが含まれます。

この初回実行時のペナルティを回避したい場合は、アプリのコンパイル中にデバイスをターゲットにするnvcc 適切なスイッチを渡すだけで済みます。

cubin ファイルには、デバイスのバイナリ コードのみが含まれます。ファットビンには、複数のデバイスのデバイス バイナリ コードが含まれる場合があります。正しいデバイスのバイナリ コードを利用できるようにすることで、JIT 起動の遅延を回避できます。最終的に、これらの形式 (cubin または fatbin) は、ホスト コードとデバイス コードの両方を含む実行可能ファイルに収集されます。デバイスコードのみを含むファイルを生成するcubinまたはfatbinを明示的にターゲットにする必要はありません。