0

まず第一に、私の片言の英語で申し訳ありません。私はネイティブではないので、学校でもっと働くべきでした:S

当時、私は iOS で OpengL ES を使用して AR システムを構築しようとしています。

AVCaptureSession を使用してカメラ フレームを取得し、追跡アルゴリズムと OpenGL ES 表示クラス (追跡アルゴリズムからの回転と変換を待機する) の両方に送信します。その間、実際の平面と同じ位置に配置された OpenGL 平面に表示するビデオを読み込んでいます (私がクリアしているかどうかはわかりません)。

私の目標は、1 つの VBO と 1 つのシェーダーのみを使用して全体をレンダリングすることです (背景のカメラから取得した画像と、追跡アルゴリズムによって与えられた回転と移動を使用して配置されたビデオ テクスチャを使用した計画)。

理由はわかりませんが、何も表示されません。レンダリング コード (各フレームと呼ばれます) は次のとおりです。

glClearColor(0, 0, 0, 0);
glClear(GL_COLOR_BUFFER_BIT);

[self setProjectionMatrix];

glUniformMatrix4fv(_projectionUniform, 1, 0, projection.glMatrix);

//Wait for rotation and translation
@synchronized(self.trackeriOS){

    transfo = [trackeriOS getMat];
}

[self dumpMatrix:transfo];

[self fillModelViewMatrix:transfo];

glUniformMatrix4fv(_modelViewUniform, 1, 0, finalModelView);

videoTexture = [self setupTextureFromBuffer:self.buffer];

if (videoTexture == -1) {
    NSLog(@"swap");
}
  if (cameraVideoTexture == -1) {
    NSLog(@"swap");
}

else {

    glViewport(0, 0, self.frame.size.width, self.frame.size.height);

    glVertexAttribPointer(_positionSlot, 3, GL_FLOAT, GL_FALSE, sizeof(Vertex), 0);
    glVertexAttribPointer(_texCoordSlot, 2, GL_FLOAT, GL_FALSE, sizeof(Vertex), (GLvoid*)        (sizeof(float) * 3));

    glActiveTexture(GL_TEXTURE0);
    glBindTexture(GL_TEXTURE_2D, videoTexture);
    glUniform1i(_textureUniform, 0);

    glDrawElements(GL_TRIANGLES, sizeof(Indices)/sizeof(Indices[0]), GL_UNSIGNED_BYTE, 0);

    glUniformMatrix4fv(_projectionUniform, 1, 0, modelViewIdentity);
    glUniformMatrix4fv(_modelViewUniform, 1, 0, modelViewIdentity);

    glActiveTexture(GL_TEXTURE1);
    glBindTexture(GL_TEXTURE_2D, cameraVideoTexture);
    glUniform1i(_cameraVideotextureUniform, 1);

    glDrawElements(GL_TRIANGLES, sizeof(Indices)/sizeof(Indices[0]), GL_UNSIGNED_BYTE, 0);

    [_context presentRenderbuffer:GL_RENDERBUFFER];

    CVBufferRelease(self.buffer);

    glDeleteTextures(1, &cameraVideoTexture);
    glDeleteTextures(1,&videoTexture);

}

手伝ってくれてどうもありがとう。

編集 2: これは、カメラ ビデオ データの読み取り中に、AVFoundation デリゲート関数によって指定された CVImageBufferRef から OpenGL テクスチャを作成する方法です。

- (void)processNewCameraFrame:(CVImageBufferRef)cameraFrame;
{
    dispatch_async(backgroundImageDisplay, ^(void) {
    self.cameraVideoBuffer = cameraFrame;
    CVPixelBufferLockBaseAddress(cameraFrame, 0);
    int bufferHeight = CVPixelBufferGetHeight(cameraFrame);
    int bufferWidth = CVPixelBufferGetWidth(cameraFrame);

    glGenTextures(1, &cameraVideoTexture);
    glBindTexture(GL_TEXTURE_2D, cameraVideoTexture);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);

    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);

    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, bufferWidth, bufferHeight, 0, GL_BGRA,  GL_UNSIGNED_BYTE, CVPixelBufferGetBaseAddress(cameraFrame));

    CVPixelBufferUnlockBaseAddress(cameraFrame, 0);

    CMTime outputItemTime = [videoOutput itemTimeForHostTime:CACurrentMediaTime()];
    if ([[self videoOutput] hasNewPixelBufferForItemTime:outputItemTime2]) {
        self.buffer = [[self videoOutput] copyPixelBufferForItemTime:outputItemTime2  itemTimeForDisplay:NULL];

        //The above render function
        [self render];
    }

    });

}

編集：VBOを次のように設定したことを忘れていました：

- (void)setupVBOs {

glGenBuffers(1, &vertexBuffer);
glBindBuffer(GL_ARRAY_BUFFER, vertexBuffer);
glBufferData(GL_ARRAY_BUFFER, sizeof(Vertices), Vertices, GL_STATIC_DRAW);

glGenBuffers(1, &indexBuffer);
glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, indexBuffer);
glBufferData(GL_ELEMENT_ARRAY_BUFFER, sizeof(Indices), Indices, GL_STATIC_DRAW);

NSLog(@"OpenGL View, set up VBO 1");

}

そして、シェーダーへのエントリ ポイントを次のように設定します。

-(void)setTextureProgramShader {

_positionSlot = glGetAttribLocation(programHandle1, "Position");
glEnableVertexAttribArray(_positionSlot);

_projectionUniform = glGetUniformLocation(programHandle1, "Projection");
_modelViewUniform = glGetUniformLocation(programHandle1, "Modelview");

_texCoordSlot = glGetAttribLocation(programHandle1, "TexCoordIn");
glEnableVertexAttribArray(_texCoordSlot);

_textureUniform = glGetUniformLocation(programHandle1, "Texture");


}

最後に、頂点シェーダーは次のとおりです。

attribute vec4 Position; // 1

uniform mat4 Projection;
uniform mat4 Modelview;

attribute vec2 TexCoordIn; 

varying vec2 TexCoordOut;


void main(void) { // 4

gl_Position = Projection * Modelview * Position; // 6
TexCoordOut = TexCoordIn;
}
4

0 に答える 0