特定の人間のアクションのビデオから単一の「キーフレーム」を抽出する必要があります(アクションは一般的なものである可能性があります)。説明的ではなく差別的になります(ビデオで興味深いフレームを見つける)。
要するに、バスケットボールのビデオで、コーヒーを飲んでいるビデオと区別できる 1 つのフレームを見つける必要があります。
私が見たほとんどの論文は、ある種のビデオ要約技術でしたが、このように抽出されたフレームは、アクション カテゴリを分離するのに最適である必要はありません。これが私のつまずきです。テスト時に、キーフレームを抽出するためのテスト ビデオしかありませんが、他のアクション カテゴリ ビデオとは最も異なるフレームを抽出できるモデルが必要です。
これは興味深い問題ですが、私には定義がはっきりしていないように思えます。テスト動画を他の動画と区別するフレーム (複数ある可能性が高いため、「1 つのフレーム」について話すのはおそらく正しくありません) が必要ですが、他の動画が何であるかはわかりません。 . たとえば、セット全体がバスケットボールのビデオで構成されている場合はどうでしょうか? 他のビデオが何であるかを知らなければ (または少なくとも合理的な期待を持っていなければ)、このタスクは人間にとっても不可能です。
私が考える 1 つの方法は、フレームが一意であるかどうかを判断するのに役立つ確率モデルを使用することです。既存のビデオ テスト セットを使用してこのモデルをトレーニングできます。類似性測定を使用してすべてのフレームを相互に比較し、発生頻度が最も低いフレームに注目します。次に、モデルを別の (ただし類似した) テスト セットに適用します。YMMV。
最後に、あなたはアクション カテゴリに興味があるとおっしゃいましたが、フレーム、つまり静止画像のみに焦点を当てています。最初にビデオをショットに分割し (投稿したリンクを見てください)、次に固有のショットを探すと便利な場合があります。次に、固有のショットから固有のフレーム候補を選択できます。
幸運を！