c++ - 画像の違いをリアルタイムで検出

Question

私は、内蔵のビデオ カメラを介してライブ画像を PC にストリーミングする顕微鏡に取り組んでおり、ストリーミングされた画像に対してさらに画像処理を実行できます。ストリーミングされた画像に対して行われる処理は、「リアルタイム」で行われる必要があります (最小限のフレーム ドロップ)。

一連の静止画像の平均をとって、カメラからのランダム ノイズに対抗し、一部の画像処理ルーチンの出力を改善します。私の質問は: 画像が静止していないかどうか (検査中のサンプルが移動または回転/カメラのズームインまたはズームアウトしたかどうか) をどのように確認すれば、平均化に使用される画像シリーズをリセットできますか?

いくつかのスレッドと、興味深いと思われるいくつかのアイデアに目を通しました。 注: Windows、C++、およびインテル IPP を使用しています。IPP では、イメージはバイト配列 (Ipp8u) です。1. 画像をハッシュし、ハッシュを比較します (通常のハッシュまたは知覚ハッシュ?) 2. 正規化された相互相関を使用します (IPP には多くのバリエーションがあります - どちらを使用しますか?)

私の状況（速度）にはどれが適していると思いますか？

Answer 1

カメラが揺れない場合は、inVaderが言ったように、画像を差し引くことができます。次に、差分画像のすべてのピクセルの絶対値の合計で、画像が同じか異なるかを判断するのに十分な場合があります。ただし、ノイズや照明レベルなどが変化する場合、これでは十分なS/N比が得られません。そして、騒がしい状況では、通常のハッシュはさらに役に立たなくなります。

最良の方法は、オブジェクトの境界（規則的な場合）や重心（不規則な場合）など、オブジェクトの一部の機能が変更されたことを特定することです。境界位置がある場合は、その境界に垂直な1行のピクセルだけを分析して、境界が移動したことを確認する必要があります。質量中心の位置は、頻繁に偽陰性の応答を受ける可能性がありますが、総質量および/または慣性モーメントを追加すると役立つ場合があります。

カメラが揺れる場合は、比較する前に画像を位置合わせする必要があります（比較方法と必要な精度によっては、1つのピクセルの位置ずれが非常に大きい場合があります）。これが相互相関に役立ちます。

さらに、各画像を分析する必要はありません。1つをスキップして、次が異なる場合は、両方を破棄できます。ここでは、画像を分析するために2倍の時間があります。また、画像を平均化する場合は、必要な画像の最適な量を定義し、シーケンスの最初と最後の画像だけを比較することができます。

Answer 2

したがって、最も簡単な方法は、後続の画像を取得し、それらを互いに差し引いて、違いを確認することです。次に、2 つの画像が等しいと見なされる差異のローカルしきい値とグローバルしきい値を含むいくつかのルールを定義します。ビットマップ/配列データの単純な減算、最大値の検索、全体の平均差の計算は、リアルタイムで行うべき問題ではありません。

Answer 3

まず第一に、一連の画像を遅い fps レートで撮影し、それらの画像をダウンサンプリングしてサイズを小さくします。大きすぎるのではなく、プロセスを高速化するのに十分です。

いくつかのオプションがあります。

2 つの画像を減算して絶対差の合計を作成し、画像が変化した場合にしきい値を使用することができます。

さらに高速化したい場合は、小さなカーネルを使用してプログレッシブ SAD を実行し、画像の上から下に移動することをお勧めします。プロセス中の違いの完全な量を評価し、満足したときに最終的に停止できます。

Answer 4

モーション検出アルゴリズムが使用されます。

http://www.codeproject.com/Articles/10248/Motion-Detection-Algorithms

http://www.codeproject.com/Articles/22243/Real-Time-Object-Tracker-in-C

Answer 5

さまざまな照明条件や予測可能な方法で動くもの (ドアの開閉など) がある場合は、バックグラウンド モデリング用のガウス混合モデルのように、速度は遅くてもより強力なものを検討する価値があるかもしれません。ここをクリックしてください。これは非常に計算量が多いですが、かなり簡単に並列化できます。