31

これをAndroid4.1で動作させようとしています(アップグレードされたAsus Transformerタブレットを使用)。前の質問に対するAlexの回答のおかげで、私はすでにいくつかの生のH.264データをファイルに書き込むことができましたが、このファイルはでしか再生できずffplay -f h264、フレームレートに関するすべての情報が失われたようです(非常に高速な再生)。また、色空間が正しくないように見えます(atmはエンコーダー側のカメラのデフォルトを使用しています)。

public class AvcEncoder {

private MediaCodec mediaCodec;
private BufferedOutputStream outputStream;

public AvcEncoder() { 
    File f = new File(Environment.getExternalStorageDirectory(), "Download/video_encoded.264");
    touch (f);
    try {
        outputStream = new BufferedOutputStream(new FileOutputStream(f));
        Log.i("AvcEncoder", "outputStream initialized");
    } catch (Exception e){ 
        e.printStackTrace();
    }

    mediaCodec = MediaCodec.createEncoderByType("video/avc");
    MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", 320, 240);
    mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 125000);
    mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
    mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar);
    mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 5);
    mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
    mediaCodec.start();
}

public void close() {
    try {
        mediaCodec.stop();
        mediaCodec.release();
        outputStream.flush();
        outputStream.close();
    } catch (Exception e){ 
        e.printStackTrace();
    }
}

// called from Camera.setPreviewCallbackWithBuffer(...) in other class
public void offerEncoder(byte[] input) {
    try {
        ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
        ByteBuffer[] outputBuffers = mediaCodec.getOutputBuffers();
        int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1);
        if (inputBufferIndex >= 0) {
            ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
            inputBuffer.clear();
            inputBuffer.put(input);
            mediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, 0, 0);
        }

        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
        int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,0);
        while (outputBufferIndex >= 0) {
            ByteBuffer outputBuffer = outputBuffers[outputBufferIndex];
            byte[] outData = new byte[bufferInfo.size];
            outputBuffer.get(outData);
            outputStream.write(outData, 0, outData.length);
            Log.i("AvcEncoder", outData.length + " bytes written");

            mediaCodec.releaseOutputBuffer(outputBufferIndex, false);
            outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);

        }
    } catch (Throwable t) {
        t.printStackTrace();
    }

}

エンコーダの種類を「video/mp4」に変更すると、フレームレートの問題は解決するようですが、主な目標はストリーミングサービスを作成することであるため、これは適切な解決策ではありません。

SPSとPPSNALUを考慮してAlexのコードの一部を削除したことは承知していますが、その情報も取得されてoutDataおり、エンコーダーがこれを正しくフォーマットすると想定したため、これが不要になることを期待していました。そうでない場合は、ファイル/ストリームにさまざまなタイプのNALUをどのように配置する必要がありますか?

では、有効で機能するH.264ストリームを作成するために、ここで何が欠けているのでしょうか。また、カメラの色空間とエンコーダーの色空間を一致させるには、どの設定を使用する必要がありますか?

これは、Android/MediaCodecのトピックというよりもH.264関連の質問だと思います。または、まだMediaCodec APIを正しく使用していませんか?

前もって感謝します。

4

5 に答える 5

9

高速再生-フレームレートの問題については、ここで行う必要はありません。これはストリーミングソリューションであるため、反対側には事前にフレームレートまたは各フレームのタイムスタンプを通知する必要があります。これらは両方ともエレメンタリーストリームの一部ではありません。事前に決定されたフレームレートが選択されるか、sdpなどを渡すか、rtspなどの既存のプロトコルを使用します。2番目のケースでは、タイムスタンプはrtpのような形式で送信されるストリームの一部です。次に、クライアントはrtpストリームを返済し、それをbaclで再生する必要があります。これがエレメンタリーストリーミングの仕組みです。[固定レートエンコーダを使用している場合はフレームレートを修正するか、タイムスタンプを指定してください]

ローカルPCの再生は、fpsを認識しないため、高速になります。入力の前にfpsパラメータを与えることによって例えば

ffplay -fps 30 in.264

PCでの再生を制御できます。

再生できないファイルについて:SPSとPPSはありますか?また、NALヘッダーを有効にする必要があります-付録b形式。androidについてはよくわかりませんが、これは、h.264エレメンタリーストリームがコンテナーに含まれておらず、後でダンプして再生する必要がある場合に再生可能にするための要件です。androidのデフォルトがmp4であるが、デフォルトのannexbヘッダーがオフになっている場合、おそらくそれを有効にするためのスイッチがあります。または、フレームごとにデータを取得する場合は、自分で追加するだけです。

カラーフォーマットに関して:私はデフォルトが機能するはずだと思います。したがって、設定しないようにしてください。そうでない場合は、422PlanarまたはUVYV/VYUYインターリーブ形式を試してください。通常、カメラはその1つです。(ただし、必須ではありませんが、これらは私がより頻繁に遭遇したものである可能性があります)。

于 2012-11-24T20:01:58.513 に答える
7

Android 4.3 (API 18) は簡単なソリューションを提供します。このMediaCodecクラスは、Surfaces からの入力を受け入れるようになりました。つまり、カメラの Surface プレビューをエンコーダーに接続して、奇妙な YUV 形式の問題をすべて回避できます。

生の H.264 ストリームを .mp4 ファイルに変換する新しいMediaMuxer クラスもあります (オプションでオーディオ ストリームにブレンドします)。

これを正確に行う例については、 CameraToMpegTest ソースを参照してください。(また、OpenGL ES フラグメント シェーダーを使用して、録画中のビデオに対して簡単な編集を実行する方法も示しています。)

于 2013-07-24T19:45:54.613 に答える
6

プレビュー カラー スペースを YV12 に設定している場合は、次のようにカラー スペースを変換できます。

public static byte[] YV12toYUV420PackedSemiPlanar(final byte[] input, final byte[] output, final int width, final int height) {
        /* 
         * COLOR_TI_FormatYUV420PackedSemiPlanar is NV12
         * We convert by putting the corresponding U and V bytes together (interleaved).
         */
        final int frameSize = width * height;
        final int qFrameSize = frameSize/4;

        System.arraycopy(input, 0, output, 0, frameSize); // Y

        for (int i = 0; i < qFrameSize; i++) {
            output[frameSize + i*2] = input[frameSize + i + qFrameSize]; // Cb (U)
            output[frameSize + i*2 + 1] = input[frameSize + i]; // Cr (V)
        }
        return output;
    }

または

 public static byte[] YV12toYUV420Planar(byte[] input, byte[] output, int width, int height) {
        /* 
         * COLOR_FormatYUV420Planar is I420 which is like YV12, but with U and V reversed.
         * So we just have to reverse U and V.
         */
        final int frameSize = width * height;
        final int qFrameSize = frameSize/4;

        System.arraycopy(input, 0, output, 0, frameSize); // Y
        System.arraycopy(input, frameSize, output, frameSize + qFrameSize, qFrameSize); // Cr (V)
        System.arraycopy(input, frameSize + qFrameSize, output, frameSize, qFrameSize); // Cb (U)

        return output;
    }
于 2013-01-16T16:42:16.980 に答える
2

別のピクセル形式を明示的に要求しなかった場合、カメラ プレビュー バッファーはNV21と呼ばれる YUV 420 形式で到着します

残念ながら、このページの他の回答が言及しているように、デバイスで AVC エンコーダーがこの形式をサポートしているという保証はありません。NV21 をサポートしていない奇妙なデバイスがいくつか存在することに注意してください。ただし、API 16 にアップグレードできるものはわかりません (したがって、MediaCodec があります)。

Google のドキュメントでは、 YV12平面 YUV は、API >= 12 を備えたすべてのデバイスのカメラ プレビュー フォーマットとしてサポートする必要があるとも主張しています。したがって、試してみると便利な場合があります (MediaCodec に相当するものは、コード スニペットで使用するCOLOR_FormatYUV420Planarです)。

更新: Andrew Cottrell が思い出したように、YV12 は COLOR_FormatYUV420Planar になるためにまだクロマ スワッピングが必要です。

于 2013-01-16T20:20:03.960 に答える
2

サポートされているビットマップ形式について MediaCodec をクエリし、プレビューをクエリできます。問題は、一部の MediaCodec は、プレビューから取得できない独自のパックされた YUV 形式のみをサポートすることです。特に 2130706688 = 0x7F000100 = COLOR_TI_FormatYUV420PackedSemiPlanar 。プレビューのデフォルト形式は 17 = NV21 = MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV411Planar = YCbCr 420 Semi Planar です。

于 2012-12-05T09:53:15.847 に答える