1

みんな！

libvlc を使用してメモリ内の画像をストリーミングするプロジェクトに取り組んでいます。テスト用に、カメラ フレームをストリーミングします。ここで問題があります。まず、大きな遅延 (約 7 秒) があり、ストリームが非常に不安定です。

私のコードの間違いを見つけていただけると助かります。

これらの 3 つのエラーが何度も繰り返されています。

メイン入力エラー: ES_OUT_SET_PCR の調整が遅すぎます (pts_delay が 692 ミリ秒に増加)
メイン入力エラー: ES_OUT_RESET_PCR と呼ばれる
avcodec デコーダー エラー: ビデオが 5 秒以上遅れる -> フレームがドロップする (コンピューターが遅すぎる?)

最後の間違いが特に気になります: 一部の画像のみをエンコードしたいのに、デコーダ エラーが発生するのはなぜですか?

そして、ここに私のコードがあります: 

#include <Windows.h>
#include <vlc.h>
#include <vlc_common.h>
#include <vlc_threads.h>
//#include <vlc/plugins/vlc_threads.h>
using namespace std;

#include <opencv2/opencv.hpp>
using namespace cv;

#define CAMERA_WIDTH 640
#define CAMERA_HEIGHT 480



vlc_mutex_t imem_get_mutex;
VideoCapture *g_camera;
int g_transport_number = 8080;



static int vlc_imem_get_callback(void *data, const char *cookie,
    int64_t * dts, int64_t * pts,
    unsigned *flags, size_t * size,
    void **output)
{
    //usleep(20000);
    Mat frame;
    vlc_mutex_lock(&imem_get_mutex);


    (*g_camera) >> frame;

    *output = malloc(frame.rows * frame.cols * 3);
    memcpy(*output,frame.data,frame.rows * frame.cols * 3);

    if (pts)
        *pts = 1;
    if (dts)
        *dts = 1;
    //  *size=(size_t)300;
    *size=(size_t)(frame.rows * frame.cols * 3);

    vlc_mutex_unlock(&imem_get_mutex);

    frame.release();

    return 0;
}

static void vlc_imem_release_callback(void *data, const char *cookie,
    size_t size, void *unknown)
{
    //  printf("release\n\n");

    free(unknown);
}


int main()
{
    vlc_mutex_init(&imem_get_mutex);

    g_camera = new VideoCapture(0);
    g_camera->set(CV_CAP_PROP_FRAME_WIDTH, CAMERA_WIDTH);
    g_camera->set(CV_CAP_PROP_FRAME_WIDTH, CAMERA_HEIGHT);

    libvlc_instance_t * inst;
    libvlc_media_player_t *mp;
    libvlc_media_t *m;

    char smem_options1[2000];
    char venc_options[1000];
//  sprintf(venc_options,"profile=baseline,level=3,keyint=50,bframes=3,no-cabac,ref=3,no-interlaced,vbv-maxrate=512,vbv-bufsize=256,aq-mode=0,no-mbtree,partitions=none,no-weightb,weightp=0,me=dia,subme=0,no-mixed-refs,no-8x8dct,trellis=0");
    sprintf(venc_options,"bframes=6,ref=6");

    sprintf(smem_options1,"#transcode{venc=x264{%s},vcodec=h264,vb=1000,fps=30,scale=0,width=640,height=480,channels=1,samplerate=44100}:duplicate{dst=http{mux=ts,dst=:%d/test}",venc_options,g_transport_number);
//  sprintf(smem_options1,"#transcode{vcodec=h264,vb=1000,fps=30,scale=0,width=640,height=480,channels=1,samplerate=44100}:duplicate{dst=http{mux=ts,dst=:%d/test},dst=display",venc_options,g_transport_number);

    char str_imem_get[100], str_imem_release[100],str_imem_data[100];
    sprintf(str_imem_get, "--imem-get=%ld", vlc_imem_get_callback);
    sprintf(str_imem_release, "--imem-release=%ld", vlc_imem_release_callback);
    //  sprintf(str_imem_data,"--imem-data=%ld",(long int)test_buffer);


    const char * const vlc_args[] = {
        "-I","dummy",
        "--ignore-config",

        "--demux","rawvideo",
        "--rawvid-fps","30",
        "--rawvid-width","640",
        "--rawvid-height","480",
        "--rawvid-chroma","RV24",

        "--imem-channels=1",
        "--imem-data=0",
        "--imem-cat=4",
        "--imem-fps=30",
        "--imem-codec=none",


        str_imem_get,
        str_imem_release,

        "--sout",
        smem_options1
    };

    inst = libvlc_new (sizeof (vlc_args) / sizeof (vlc_args[0]), vlc_args);
    m = libvlc_media_new_location(inst, "imem://");
    mp = libvlc_media_player_new_from_media (m);
    libvlc_media_release (m);

    libvlc_media_player_play (mp);

    Sleep (200000); 

    libvlc_media_player_stop (mp);
    libvlc_media_player_release (mp);
    libvlc_release (inst);


    return 0;
}

助けてくれてありがとう。下手な英語でごめんなさい...

4

1 に答える 1

2

私はこれとまったく同じ問題を抱えていましたが、この問題は、あなたのような OpenCV を使用してライブ ソースからキャプチャするときに使用していた DTS および PTS 値に関連していることを発見しました。pts_delay の増加を避けるために DTS 値と PTS 値をリアルタイムで計算していましたが、その後、あなたのように約 5 秒後に、imem get 関数のコールバック間の時間が増加し続けました。次に、毎回追加される 33333 のような固定フレーム レート値間隔値を使用しました。これによりラグの問題は修正されましたが、クロックのリセットで最初のエラーが発生しました。私が見つけた解決策は、DTS を -1 (未使用) に設定し、PTS の値を libvlc_clock() に設定することでした。例えば：


int MyImemGetCallback (void *data, 
    const char *cookie, 
    int64_t *dts, 
    int64_t *pts, 
    unsigned *flags, 
    size_t * bufferSize, 
    void ** buffer) 
{
    MyImemData* imem = (MyImemData*)data;

    if(imem == NULL)
        return 0;

    if(imem->mQuitFlag)
        return 1; // Exit

    if(imem->mFrameNumber == imem->mPrevFrameNumber)
    {
        return 0; // No new image data
    }

    // Update frame count information...
    imem->mPrevFrameNumber = imem->mFrameNumber;
    *dts = -1;
    // You can use libvlc_clock to avoid PCR reset and delays
    // on realtime data...
    *pts = libvlc_clock();

    *bufferSize = 
        imem->mOpenCvImage->rows * 
        imem->mOpenCvImage->cols * 
        imem->mOpenCvImage->channels();
    *buffer = imem->mOpenCvImage->data;

    return 0; // Success.
}

これが6か月前に投稿されたことは知っていますが、今日同じ問題に遭遇し、他の問題もあるかもしれないと考えました.

于 2014-04-25T01:52:10.130 に答える