2

私はビデオシーケンスのオプティカルフローの概念に何とか慣れていません。オプティカルフローの基本を読み、Horn＆Shunck法またはLucas＆Kanadeの方法に精通しています。

これらの方法では、画像内のピクセルの動きを表すいくつかのベクトルを計算していることに気付きました。もちろん、これらのピクセルにはいくつかの制約があります（明るさの一定性、滑らかさなど）。

私の質問：

式によると、フレーム内の1つのピクセルと、フレーム内の別のピクセルとfx*u + fy *v = -ft の間の対応を正確に確立するにはどうすればよいでしょうか。tt + 1

tつまり、フレーム内で見つけたのと同じフレーム内のピクセルであることをどのように確認できますか。t + 1アルゴリズムのどの部分でこれらのピクセルを見つけて、フレーム内のピクセルとフレーム間の対応を確立しているのかわかりませtんt + 1。t移動したピクセルを見つけることができることは知っていますが、フレーム内のピクセルとフレームのピクセル間の関係をどのようにして見つけたかはわかりませんt + 1。

私の質問をご理解いただければ幸いです：o）（o：

可能な限り定式化された答えが可能であれば。

Merci beaucoup

4

3 に答える 3

6

実際、Horn、Schunk および Lucas、Kanade の方法は、方程式をさまざまな方法で扱っています。

Fx*U + Fy*V = -Ft

ご覧のとおり、この方程式は劣決定方程式系です。そこでホーンとシュンクは、2 つ目の仮定を統合することを提案しました。滑らかさは、 と の偏差が小さくなければならないことを制約しUますV。これは、次の最小二乗フレームワークに統合されています。

(Fx*U + Fy*V + Ft)² + lambda * (gradient(U)² + gradient(V)² = E
E -> min

その方程式を使用して、 の偏差を に設定することでU、を解くことができます。その結果、動きベクトルの解は、との勾配演算子を介して接続されます。VE0UV

Lucas と Kanade は、定義された領域では、Lucas Kanade ウィンドウで 1 つのモーション ベクトルのみが計算される (または、領域にはモーション / モーション コンスタンシーの制約が 1 つだけある) ことを提案し、それを最小二乗フレームワークに入れました。

sum(Fx*U + Fy*V + Ft)² = E
E->min

加算は、定義された領域内の各ピクセルに対して行われます。またUとは、 に設定されVた の偏差であっても簡単に計算できます。E0

Ftこれらの 2 つの方程式を使用すると、時間 ( ) と空間の画像勾配 ( Fx、 )を使用して、ピクセルの対応関係が検出されることがわかりFyます。Lucas と Kanade の元の論文には、この相関関係をグラフで示した素敵な写真があります。ただし、考慮すべき点がいくつかあります。

  • これらの種類の方法は、画像にテクスチャが含まれている場合にのみモーション ベクトルを計算できます (アパーチャの問題)。
  • Fx*U + Fy*V + Ftの一次テイラー近似ですF(x, y, t) = F(x + U, y + V, t + 1)。つまり、画像信号は線形である必要があります。その結果、数ピクセルまでのモーションしか計算できません。そのため、線形性を提供するために画像ピラミッドが使用されます。
  • モーションの恒常性または滑らかさの制約により、シャープなモーション境界が妨げられます。これは、アプリケーションによっては重要になる場合があります。
  • このフレームワークは、古典的な通信問題を防ぎません。
于 2013-01-16T15:43:19.753 に答える
1

Fx*U + Fy*V = -Ft では、この方程式を 1 ピクセルで解くことはできません...そのため、cvGoodFeaturesToTrack で一連のピクセルが得られた後...そのセット内の各ピクセルの周囲にウィンドウが選択されます...パッチ/ウィンドウ（選択したピクセルを中心に）が次のフレームで同じ強度を持つと想定される一定の強度の仮定。したがって、フレーム A で、ポイントの周りのウィンドウを考慮することによってポイントの U と V を見つけたとします...U と V は、特定のポイントが水平方向と垂直方向に通過するはずのピクセル単位の変位を与えます... U を使用しておよび V 次のフレーム、つまりフレーム B でポイントの位置を見つけます。強度が一定であるという仮定によれば、フレーム B の予測された点の周囲のパッチは、フレーム A の点の周囲のパッチと同じ強度を持つはずです...

于 2012-12-16T02:48:19.367 に答える
0

Horn と Schunk の方法では、無関係な方法で 2 つのフレームにまたがるピクセルの対応を計算する必要はありません。H&S は反復アルゴリズムです。2 つの連続するフレームでは、us と vs のいくつかの初期値から開始し、収束するまで繰り返します。

詳細：

連続する 2 つのフレームに対して、次の処理を数回繰り返します (これはピクセルごとに計算されます。u-image-buffer と v-image-buffer があると想像してください)。

u = u_av - Fx *(P/D)
v = v_av - Fy *(P/D)

どこ

*, stands for multiplication
P = Fx * u_av + Fy  * v_av + Ft
D = lambda + Fx**2 + Fy**2
Fx = gradient of image along x (can be averaged across the two frames)
Fy = gradient of image along y (can be averaged across the two frames)
Ft = temporal gradient across two frames
u_av = (sum of u-s of 4 diagonal neighbors)/4
v_av = (sum of u-s of 4 diagonal neighbors)/4
lambda=smoothness constraint coefficient

u と v の初期値はゼロにすることができます。

于 2017-01-03T02:22:51.093 に答える