16

同期は常に私を魅了してきました。正確には、メディアプレーヤーが.tsを同期して表示できるのに、再アセンブルされたオーディオとビデオが同期していないのはなぜですか。

だから私はこれを理解しようとしています、そしてそれを防ぐために何ができるか。

私は以下を読みました: https : //trac.handbrake.fr/wiki/LibHandBrakeSyncとsync.cのソース(wikiでも入手可能)

BitStreamToolsはこのテーマについてもTheory101を書いています(しかし、私は新しいユーザーなのでリンクできません、申し訳ありません)

PCR / PTSの理解は(概念的には)正しいと思いましたが、ハンドブレーキの優れたA/V同期用紙を追いかけるのに苦労しています。

私の質問はこれです:a / v同期のいくぶん直感的な(短い、短い、または長い、長い場合があります)説明はありますか?オーディオまたはビデオのptsが破損している場合(不連続性?)、PCRからPTSを再計算できることは知っていますが、ハンドブレーキはこれに依存していないようですが、内部PTSに依存しています。0、+ = 1 / fps(〜= 5)、10、15、...。

すべてのオーディオとビデオのPTS値を修正することで(そして同じオフセットですべてのDTSをスキューすることで)、ptsオフセットを再計算し、.ts(バイナリ)を修正することは可能でしょうか?話す)、したがって、デマックスできる.tsがあり、分離されたトラックは同期されます(一緒に戻された場合)?

編集:または、PCRを使用して特定の.ts内のすべてのPTS値を再計算することによって修正することはできませんか?一部のフレーム/オーディオが放送中に破損して正しく表示されない可能性があることは理解していますが、これの処理はそのままにしておきます(破損していて対応するオーディオ部分がある場合はビデオを削除し、オーディオパッケージが破損しているなど)後で説明しますが、説明のために、すべてのフレームが無傷であると想定します。(しかし、PTS値は常に正しいのでしょうか、それとも何ですか?)

付録:ハンドブレーキA / Vペーパーに関する私の見解は次のとおりです。「期待される」100では、オフセットはビデオポイント(100)-オーディオポイント(0)-内部PTSとして計算され、オーディオを同じプレゼンテーションにします。時間、したがって、99のptsオフセットを与えます。105では、オフセットは99ではなく105-5 = 100になりますが、再計算する必要がないため、オフセットとして99を使用します(100-99 = 1. 1 / fps < 100ms)。150では、ビデオptsが増加するのではなく、減少するにつれて、ptsオフセットが再度計算されます...

私はこれについて完全に間違っているとほぼ確信していますが、誰かが私を正しい方向に向けることができますか?

  • ジョシュ
4

1 に答える 1

23

オーディオ ビデオ同期の概念は、より深いものです。私がお勧めする最初の読書は、次の論文です。

http://downloads.bbc.co.uk/rd/pubs/reports/1996-02.pdf

ここですべてを繰り返すことはしませんが、本質的に、すべてのエンコーダーはタイムスタンプを記録し、それぞれのオーディオとビデオにスタンプします。その後、デコーダーがそれを再生すると、2 つのことを行います。時間が発生します。これは、オーディオとビデオの同期を維持する唯一かつ最良の方法です。これらのタイムスタンプは PTS/DTS 値と呼ばれ、90 kHz クロックの分解能です。

時間の経過とともにクロックが歪むことを理解してください。ただし、正確な時間のみが参照されるため、デコーダーは正確に同じ時間順で再生されます。

現在、主要な懸念事項は、デコーダーのクロックがエンコーダーのクロックの制御/同期を維持する必要があることです。MPEG で最初に行われることは、27 MHz でより高い精度 (300 倍高い) を使用することです。さらに、これは途中の伝送パスの間、一貫性を保つ必要があります。(これをクロック回復プロセスと呼びます)。

以下は、クロックの回復/同期プロセスがどのように機能するかを説明する別の優れた論文です。

https://www.soe.ucsc.edu/sites/default/files/technical-reports/UCSC-CRL-98-04.pdf
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1 .1.86.1016&rep=rep1&type=pdf

この最終論文は、すべてを非常にうまくまとめています。
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.50.975&rep=rep1&type=pdf

覚えておいてください - PCR および PTS/DTS ベースのオーディオ ビデオ同期は、デジタル TV ブロードキャストを非常に厳密なものにし、インターネット ストリーミングで使用される他のストリーミング方法とは大きく異なります。これは、24 時間 365 日ストリーミングを機能させるために重要です。

于 2011-11-27T13:58:12.620 に答える