AMD プラットフォームでは、OpenVideo (PDF) を使用して、固定機能ハードウェアを介して GPU でビデオをデコードできます。そうすれば、圧縮されたビデオのみを GPU メモリに転送する必要があります。
Nvidia はVDPAU (Video Decode and Presentation API for Unix) と呼ばれるものを提供していると思います。私が得ることができる唯一の詳細については、nvdia サイトのこのドキュメントからのものです。ただし、PureVideo/VDPAU が OpenCL とどのようにやり取りできるかについての詳細はないようです。OpenCL との相互運用性に関する情報を提供したり、経験を共有したりできる人はいますか?