image-processing - 低解像度の動画でオブジェクトを検出するための最良の方法は何ですか?

Question

動画内のオブジェクトを検出するための最速かつ効率的な方法を探しています。このビデオに関する注意事項: 非常に粒子が粗く解像度が低く、背景と前景の両方が同時に動いています。

注: 移動中のビデオで道路上を移動するトラックを検出しようとしています。

私が試した方法：

Haar Cascade のトレーニング - 目的のオブジェクトの複数の画像をコピーして、オブジェクトを識別するように分類子をトレーニングしようとしました。これにより、多くの誤検出が発生するか、まったく検出されないことが判明しました (目的のオブジェクトが検出されませんでした)。約 100 枚のポジ画像と 4000 枚のネガ画像を使用しました。

SIFT および SURF キーポイント - 特徴に基づくこれらの方法のいずれかを使用しようとすると、検出したいオブジェクトの解像度が低すぎることがわかりました。そのため、正確な検出を行うために一致させる十分な特徴がありませんでした。(目的のオブジェクトは検出されませんでした)

テンプレート マッチング - これはおそらく私が試した中で最良の方法です。最もハックですが、最も正確です。ビデオから切り取ったテンプレートを使用して、特定のビデオのオブジェクトを検出できます。ただし、わかっているのは各フレームのベスト マッチだけであるため、正確性は保証されません。テンプレートがフレームに一致するパーセンテージで分析は行われません。基本的に、オブジェクトが常にビデオ内にある場合にのみ機能します。それ以外の場合は、誤検出が作成されます。

これらは私が試した大きな 3 つの方法で、すべて失敗しました。最もうまくいくのは、テンプレート マッチングのようなものですが、スケールと回転の不変性 (SIFT/SURF を試すようになりました) ですが、テンプレート マッチング関数を変更する方法がわかりません。

このタスクを最もよく達成するための提案はありますか?

Answer 1

画像にオプティカル フローを適用し、フロー フィールドに基づいてセグメント化します。バックグラウンド フローは、「オブジェクト」フローとは大きく異なります (主に、オブジェクトが近づいているか遠ざかっているかに応じて発散または収束し、横方向のコンポーネントもあります)。

これは、このように機能する古いプロジェクトです。

http://users.fmrib.ox.ac.uk/~steve/asset/index.html

Answer 2

この車両検出ペーパーでは、ガボール フィルター バンクを使用して低レベルの検出を行い、その応答を使用して、SVM 分類子をトレーニングする特徴空間を作成します。

この手法はうまく機能しているようで、少なくともスケール不変です。回転に関してはよくわかりません。

Answer 3

あなたのアプリケーションを知らないので、私の最初の印象は正規化された相互相関です。特に、サンプルアプリケーションとして車両追跡を備えた純粋な光学相互相関器を見たのを覚えています。（光学部品と車両の側面の画像のみを使用して通過する車両を追跡します。リンクを見つけられればいいのですが。）これは、一種の作品と言われる「テンプレートマッチング」に似ています（同一ではない場合）。 、しかし、ご存知のように、画像が回転している場合、これは機能しません。

ただし、回転、スケール、せん断、および平行移動に関係なく機能する対数極座標に基づく関連する方法があります。

これにより、最大相関が低下するため、オブジェクトがビデオのシーンを離れたことを追跡することもできると思います。

Answer 4

私たちはどれくらい低い解像度を話しているのですか？オブジェクトについても詳しく説明していただけますか？特定の色ですか？パターンはありますか？答えはあなたが何を使うべきかに影響します。

また、テンプレートマッチングステートメントを間違って読んでいる可能性がありますが、（オブジェクトを抽出したのと同じビデオでテストすることにより）オーバートレーニングしているようです。

Answer 5

Haar Cascade は、ユーザー側で重要なトレーニング データを必要とし、オリエンテーションの調整には適していません。

最善の策は、テンプレート マッチングをopencv の camshift に似たアルゴリズム (5,7MB PDF)と、トラックがまだ画像内にあるかどうかの確率モデル (これを理解する必要があります) と組み合わせることです。