エンコーダーからの未加工のビデオと未加工のオーディオの 2 つのダンプ ファイルがあり、「リップシンク」を測定できるようにしたいと考えています。ハンマーが金床を叩くビデオを想像してみてください。フレームごとに移動して、ハンマーが最終的に金床に当たったときに、オーディオ トラックの振幅にスパイクがあることを確認したいと思います。
すべてが高速で行われるため、音声だけを聞くことはできず、時間領域で波形を確認する必要があります。
ビデオとオーディオの両方を表示できるツールはありますか?
デコーダーの検証が心配な場合は、一般的に検証の観点から、オーディオとビデオのPTS値を一般的なリアルタイムクロックと照合することが目標です。
生のYUVおよびPCMファイルにはタイムスタンプは含まれていません。フレームレートとサンプルレートがわかっている場合は、生のyuvファイルビューア(自分で作成)を使用して、ビデオ内の特定のフレームの時間(ファイルの先頭から)を把握できます。また、Audacityなどのツールを使用してファイルの開始からオーディオファイルのトーンの開始までの時間形式を把握します。ツールは通常、オーディオとビデオの間の遅延をts / psファイルに埋め込むため、これでも全体像がわからない場合があります。または、abOScopeを接続して古い学校に行くこともできます。