私はOpenCVにまったく慣れていないので、それがそれほど愚かな質問ではないことを願っています。
OpenCV操作（デバイスから画像データをキャプチャする）の結果として、IplImageが返されます。
実際のサイズに応じて、最初にスケーリングし、次にプレーンな生の24ビットRGB形式に変換する必要があります。
最初の操作では、いくつかのスケーリング機能が利用できると思います。しかし、生の画像データにアクセスして変換するのはどうですか？IplImage構造内に適切なものが見つかりませんでした。少なくとも、画像データへのポインターとしてメンバーを特定できませんでした。
すべてのソングルピクセルをゆっくりと読み取る操作は適切ではありません。その操作を頻繁に実行する必要があるため、データに高速にアクセスする必要があります。