websocket - WebSockets でストリーミングされ、WebGL でレンダリングされたビデオ

Question

WebGL の WebSockets でストリーミングされたビデオ データをレンダリングするという考えがあります。<video>動画データ (フレーム) をテクスチャとしてタグから WebGL にインポートできることはわかっています。ただし、代わりにソケットを使用して、より制御できるようにすることを考えています。この考えは可能ですか？

ありがとう、イー

Answer 1

この男は、WebSocket を使用して単純な Web カメラ共有を実装しています。彼は実際には、一度に 1 フレームずつ Base64 でエンコードされた JPEG 画像として WebSocket 経由で送信し、それを受信するとすぐにブラウザー側でのsrc属性に割り当てています。<img>

ページによると、彼は Chrome で 640×480 @ 30 fps、iPhone/iPad で 320×240 @ 30 fps を達成しています。

後で画像データを使用して WebGL テクスチャを作成できなかった理由がわかりません。

var textureImg = document.getElementById("myTextureImg");
var texture = gl.createTexture();
gl.activeTexture(gl.TEXTURE0);
gl.bindTexture(gl.TEXTURE_2D, texture);
gl.texImage2D(gl.TEXTURE_2D, 0, textureImg);
gl.generateMipmap(gl.TEXTURE_2D);

等々。