問題タブ [audio-video-sync]

Xugglerをダウンロードして使用した後、私の最初の印象はとても良いです。それはコーデックのホスト全体をサポートし、始めるのは比較的手間がかからず、入門チュートリアルビデオはすべての必要な概念を非常に明確に説明しました。

しかし、数日間それをいじってみた後、私はすべてのオーディオとビデオをうまく同期させることに本当に頭を悩ませています。通常の再生では問題ありませんが、一時停止、シーク、および外付けハードドライブの回転中に時折発生する6秒間の一時停止を考慮すると、それは絶対的な悪夢になります。

私はすでに何かを部分的に実装しましたが、それは完璧にはほど遠いです-あなたは数回周りを探すことができますが、しばらくするとそれはまだ漂っています。

これはXugglerの一般的な使用例であり、誰かが私よりもはるかに優れた方法でこの種のことを行ったに違いないと思わずにはいられません。しかし、残念ながら、ウェブサイト以外の例は見つかりません。すべてのオーディオ/ビデオ同期の問題を管理し、いくつかのより高いレベルのコントロール（再生、一時停止、停止など）を提供するより高いレベルのAPIはありますか？まだ何もなければ、自分でやるのは問題ありませんが、車輪の再発明が好きだったことは一度もありません（特に、新しいホイールが古いホイールよりも悪い場合はなおさらです）。

IPad 2.0/1.0 の Safari ブラウザからサード パーティのマルチプレクサ (Mainconcept/Elecard) によって生成された TS チャンクをストリーミングしようとすると、オーディオ ビデオの同期の問題が常に発生します。

しかし、Windows PC または Macbook の標準メディア プレーヤーでは、同じクリップが正常に再生されます。

また、MACbook の Media File Segmenter ツールによって生成された TS チャンクをストリーミングしようとすると、iPad に問題がないこともわかりました。

iPad がサードパーティのマルチプレクサに期待していることは何ですか?

例: Ipad でセットの TS チャンクをストリーミングしようとすると、全体のチャンクの継続時間が 5mts 35 秒 (すべての TS チャンクを含む) である場合、2 mts 40 秒後にオーディオが同期しなくなることがわかります。

以下は、TS チャンクの生成に使用されるメディア パイプラインです。

Video.mp4 (ソース) -> Mainconcept MPEG4 DeMultiplexer -> Mainconcept MPEG Multiplxer -> Mainconcept Sink Filter (時間に基づいて TS チャンクを生成します)

誰かが IPad HLS の動作に関するいくつかのポイントを共有できますか? IPad は、同期のためにいくつかの追加パラメーターを想定していますか?

ありがとう。

gst と python を使用してビデオチャットを開発しています。ここで、エンド ユーザーの Web カメラを表示したいのですが、自分の Web カメラも 1 つの gtk ウィンドウで表示したいと考えています (共感ビデオ チャットに似ています)。

そのために、gst.Tee オブジェクトを使用して 2 つのキューを作成しました。1 つは結果をローカルの gtk ウィンドウにリンクし、2 番目のキューは同じビデオ ストリームをセッション オブジェクトにリンクします。

gst.Teeはタスクを完了しましたが、ビデオチャットの速度も低下し、ビデオはオーディオよりも遅くなります. (オーディオセッションには別のストリームを使用しました)

ここでは、コード スニペット:

ビデオチャットを高速化するにはどうすればよいですか (たとえば、単一のシンクを使用してアクセプターのビデオのみを表示すると、うまく機能します)?

同じことを行う他の方法はありますか？

ありがとう！

として表示される TV チューナー カードがあります/dev/video1。古いVHSテープをデジタル化しようとしています。TV チューナーは音声を出力しません。マイクにワイヤーが接続されています。

これは、ビデオとオーディオをキャプチャしてファイルに保存するために使用している gstreamer パイプラインです。フレームをドロップしてコンテンツを失いたくないので、モーション jpeg を使用しています。後で再エンコードします。

これはすべてうまく機能します。ビデオとオーディオを含む再生ファイルがあります。ただし、出力ファイルを再生すると、オーディオとビデオが同期しなくなることがあります。ビデオの同じ場所で、多数の異なるメディア プレーヤー (トーテム、mplayer) で発生します。したがって、これはファイルの保存と記録の方法に問題があると思います。

オーディオ/ビデオの同期の問題が発生する可能性を低くするために、パイプラインに対してできることはありますか? 私は gstreamer とビデオ/オーディオ コーデックの初心者なので、ここで愚かなことをしている可能性があります (指摘してください!)。より良いビデオ/オーディオ/マルチプレクサコーデックはありますか?

ランダムな形式のさまざまなビデオ ファイルを連結したいと考えています。まず、それらを flv に変換し、各ビデオのフレームレートを関連するビデオの最低に合わせます。次のステップは、それらをデコードしてヘッダーを削除することです (ただし、シーケンスの最初のビデオのヘッダーは削除しないでください)。次に、それらを cat で連結し、最後に結果シーケンスをエンコードします。

しかし、ビデオ トラックとオーディオ トラックは、シーケンス パートからシーケンス パートへとますます同期がずれています。

どんなアイデアでもうれしいです。

非常に奇妙なビデオファイルがあります。オーディオとビデオの同期に問題があります。ビデオは速くなり、オーディオは良好です。ビデオのフレーム レートが異常です: 26.07 fps。

ffmpeg を使用してビデオ ストリームを修正するにはどうすればよいですか。ビデオの開始時に同期は問題ありませんが、ビデオ ストリームの終了時に約 5 分間の音声が残っており、黒い画面で再生されています。

これは ffmpeg -i video.avi からの出力です

RTP ストリーム経由で gstreamer を使用して、あるデバイスから別のデバイスに mp4(mpeg-4) ファイルをストリーミングしています。基本的に、mp4 ファイルをオーディオ ファイルとビデオ ファイルに分割し、それをすべて他のデバイスに送信してストリーミングします。今、mp4ファイルを他のデバイスのディスクに保存したいのですが、オーディオファイルとビデオファイルを別々に保存でき、個別に再生できないという問題があります。

オーディオとビデオの両方の rtp ストリームを結合して mp4 ファイルを形成し、それを他のデバイスのファイルに保存する方法について混乱しています。

コマンドラインコードは次のとおりです。

送信者(サーバー)

受信者（クライアント）

設定は次のとおりです。

同じ長さのビデオファイルとオーディオファイルがあります。ビデオファイルはで再生され[pix_film]、オーディオファイルは経由[readsf~]で再生されます。どちらも、ユーザーの操作によってトリガーされるいくつかのエフェクトによって歪められます。

ビデオとオーディオの同期を維持するにはどうすればよいですか？