video - オーディオ/ビデオコンテンツのヒント

Question

そのようなメディアからどのような意味情報を抽出できるのでしょうか。音楽と音声テキストの区別、明確な音（銃声、鳥、車など）の検出、屋内/屋外のテイクの検出、カメラの動きの強さなど、何でも問題ありません。

このカテゴリーには多くの、多くの、多くの、多くの研究トピックがあることを私は知っていますが、これらのいずれのアプリケーションも見つかりませんでした。誰かがこれらのトピックに関するアプリケーション/ライブラリ/実用的なプロトタイプ/今後の製品に関するニュースへのリンクを持っていますか？

Answer 1

「MP4ファミリ」ファイルのコードポイントの登録局である MP4REGをご覧ください。

簡単な入門書：MPEG4とQuickTimeの世界では、メディアの基本的な物理的構成要素は「アトム」と呼ばれます。Atomには、実際のオーディオとビデオだけでなく、技術的および非技術的なメタデータも含めることができます。最後はあなたにとって興味深いと思います。

例えば：

• albm：アルバムタイトルとトラック番号（ユーザーデータ）
• jp2i：知的財産情報

メタデータに関しては、このようなものを一度だけ詳しく調べたことがありますが、私の印象は、それが速くてゆるい世界だということでした。実世界のメディアファイルの個々のアトムを検査できる低レベルのMP4解析ツールを確認することをお勧めします。特定のシステム内で使用するための非公式（未登録）のカスタムアトムもあると思います。

Answer 2

これのアプリケーションを見つけるための最良のトピックは、「コンテンツベースのビデオ検索とインデックス作成」の研究トピックを見たいと思うかもしれないということです。

それ以外：

• 学習手法を使用して、受信した情報（ビデオ、シングルフレーム、またはオーディオ）を分類できます。
• クラスタリング手法を使用して、オーディオまたはビデオの同様のセクションを見つけることができます

これの1つのアプリケーションは、商用削除です。コマーシャルリムーバーは通常、TVビデオのコマーシャルのセクションを削除するためにクラスタリングアプローチを実行します。

Answer 3

最近、音楽の特徴分析は大きな話題になっています。可能性を想像してください！ http://en.wikipedia.org/wiki/Music_information_retrieval

また、Conet プロジェクトをチェックしてください: http://www.archive.org/details/ird059