1

YUV(YV12) を GLSL シェーダで RGB に変換しようとしています。

以下の手順のとおりです。

  1. 画像ファイルから生の YUV(YV12) データを読み取る
  2. 生の YUV(YV12) データからの Y、Cb、および Cr のフィルタリング
  3. テクスチャのマッピング
  4. Fragment Shaderを送ります。

しかし、結果の画像は生データと同じではありません。

下の画像は生データです。

生画像リンクのスクリーンショット（ダウンロード可能）

下の画像は変換データです。

画像変換リンクのスクリーンショット(ダウンロード可能)

以下は私のソースコードです。

- (void) readYUVFile     
{    
      ...     
      NSData* fileData = [NSData dataWithContentsOfFile:file];    
      NSInteger width  = 720;    
      NSInteger height = 480;    
      NSInteger uv_width  = width  / 2;    
      NSInteger uv_height = height / 2;    
      NSInteger dataSize = [fileData length];    

      GLint nYsize  = width * height;     
      GLint nUVsize = uv_width * uv_height;      
      GLint nCbOffSet = nYsize;    
      GLint nCrOffSet = nCbOffSet + nUVsize;    

      Byte* uData = spriteData + nCbOffSet;    
      Byte* vData = uData + nUVsize;    
      GLfloat imageY[ 345600 ], imageU[ 86400 ], imageV[ 86400 ];    

      int x, y, nIndexY = 0, nIndexUV = 0;    
      for( y = 0; y < height; y++ )    
      {    
                for( x = 0; x < width; x++ )    
                {    
                          imageY[ nIndexY ] = (GLfloat)spriteData[ nIndexY ] - 16.0;    
                          if( (y < uv_height) && (x < uv_width) )    
                          {        
                                    imageU[ nIndexUV ] = (GLfloat)uData[ nIndexUV ] - 128.0;    
                                    imageV[ nIndexUV ] = (GLfloat)vData[ nIndexUV ] - 128.0;    
                                    nIndexUV++;    
                          }    
                          nIndexY++;    
                }    
      }     

      m_YpixelTexture = [self textureY:imageY widthType:width heightType:height];    
      m_UpixelTexture = [self textureU:imageU widthType:uv_width heightType:uv_height];    
      m_VpixelTexture = [self textureV:imageV widthType:uv_width heightType:uv_height];    

      ...    
 }


- (GLuint) textureY: (GLfloat*)imageData        
          widthType: (int) width       
         heightType: (int) height       
{          
    GLuint texName;    
    glActiveTexture( GL_TEXTURE0 );    
    glGenTextures( 1, &texName );     
    glBindTexture( GL_TEXTURE_2D, texName );    

    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);    

    glTexImage2D( GL_TEXTURE_2D, 0, GL_RGBA, width, height, 0, GL_RGBA, GL_UNSIGNED_BYTE, imageData );    

    return texName;    
}    

- (GLuint) textureU: (GLfloat*)imageData        
          widthType: (int) width       
         heightType: (int) height       
{          
    GLuint texName;    
    glActiveTexture( GL_TEXTURE1 );    
    glGenTextures( 1, &texName );     
    glBindTexture( GL_TEXTURE_2D, texName );    

    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);    

    glTexImage2D( GL_TEXTURE_2D, 0, GL_RGBA, width, height, 0, GL_RGBA, GL_UNSIGNED_BYTE, imageData );    

    return texName;    
}    

- (GLuint) textureV: (GLfloat*)imageData        
          widthType: (int) width       
         heightType: (int) height       
{          
    GLuint texName;    
    glActiveTexture( GL_TEXTURE2 );    
    glGenTextures( 1, &texName );     
    glBindTexture( GL_TEXTURE_2D, texName );    

    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);    

    glTexImage2D( GL_TEXTURE_2D, 0, GL_RGBA, width, height, 0, GL_RGBA, GL_UNSIGNED_BYTE, imageData );    

    return texName;    
}

以下は Fragment Shader のソースコードです。

uniform sampler2D Ytexture; // Y Texture Sampler    
uniform sampler2D Utexture; // U Texture Sampler    
uniform sampler2D Vtexture; // V Texture Sampler    
varying highp vec2 TexCoordOut;    

void main()    
{    
    highp float y, u, v;
    highp float r, g, b;

    y = texture2D( Ytexture, TexCoordOut ).p;
    u = texture2D( Utexture, TexCoordOut ).p;
    v = texture2D( Vtexture, TexCoordOut ).p;

    y = 1.1643 * ( y - 0.0625 );
    u = u - 0.5;
    v = v - 0.5;

    r = y + 1.5958 * v;
    g = y - 0.39173 * u - 0.81290 * v;
    b = y + 2.017 * u;

    gl_FragColor = highp vec4( r, g, b, 1.0 );
}

Y データは良好ですが、U および V データは良好ではありません。また、画像データのy軸は反転出力です。

この問題を解決するにはどうすればよいですか?

4

1 に答える 1

1

軸の単純な不一致のために、画像はおそらく水平方向に鏡像化されています — OpenGL は、(0, 0) が左下隅で y 軸が上向きである方眼紙の規則に従いますが、ほとんどすべてのグラフィックス画像形式は英語の読み方に従います。 (0, 0) は左上隅で、y 軸は下向きです。入力 y 座標を反転するだけです (必要に応じて頂点シェーダーで)。

色に関しては、2 番目のスクリーンショットは現在私にとっては機能していません (私のコメントによると) が、imageU と imageV を構築するときに 128 を減算し、シェーダーで再び 0.5 を減算していると思われます。おそらく、実際にはどちらか一方だけを実行したいのでしょうか (具体的には、テクスチャ データが署名されていないため、シェーダーで実行します)。imageY でも同じ間違いを犯しますが、最終的な効果は、すべての色をスケールの半分にシフトするのではなく、画像をわずかに暗くするだけです。

私の他の唯一の考えは、個々のテクスチャにはチャネルが 1 つしかないため、GL_RGBA ではなく GL_LUMINANCE としてアップロードする方がよいということです。

于 2012-02-01T01:44:14.840 に答える