opencv - ステレオ ビュー全体で対応するオブジェクトをすばやく見つける方法

Question

これを読んでくれてありがとう。

閉じたボリュームを見ているカメラのステレオ ペアを修正しました。ボリュームの寸法はわかっており、カメラ ペアの固有および外部キャリブレーション値があります。目的は、複数の複製オブジェクトの 3D 位置を正確に識別できるようにすることです。これは自然に、文献で対応問題として説明されているものにつながります。画像 1 のボール A と画像 2 のボール A を一致させるには、高速なテクニックが必要です。現時点では、エピポーラ ジオメトリ (基本行列) のプロパティを使用して、さまざまなビューからのボールを大雑把な方法で一致させており、オブジェクトがまばらな場合は問題なく動作しますが、オブジェクトが密集している場合は多くの誤検知が発生します。画像 1 のボール A は、画像 2 を横切るエピポーラ線上のどこにでも配置できるため、

これを 3D ライン交差問題などに再モデル化する方法はありますか? 画像 1 のボール A は 3D 値の境界制限しかとれないため、3D で線として表現する方法はありますか? 交差テストを実行して、画像 2 で最も近い一致するボールを見つけますか?

または、画像 1 と 2 のピクセルの各 2 次元グリッドに対応する 3 次元値のまばらなリストを生成し、これらの値の交差テストを実行して、2 つのカメラ間で一致するオブジェクトを見つける方法はありますか?

オブジェクトは同一である可能性があるため、FLANN や ORB などの OpenCV 機能マッチング アルゴリズムは機能しません。

数式やコードの形でのアイデアは大歓迎です。

ありがとう！サク

Answer 1

あなたは自分自身に非常に難しい仕事を課しました。ビュー内の 1 つのポイントが別のポイントを遮ることがあるため、通常、ポイントの数を数えることさえできません。各ビューに 2 つのポイントがあるが、それらのポイントが他のビューの同じエピポーラ ライン上にある場合は、2 ～ 4 ポイントの間で数えることができます。

ポイントを最小化すると仮定すると、これは密な 2 部グラフの最小頂点カバーのように見え始めます。各エッジは各ビューからのポイントの関連付けを表し、各エッジの重みは対応するポイントを関連付けるレジストレーション エラーから取得されます。各ビューからのポイント (頂点)。もちろん、MVC は NP 困難であり、問​​題を一般的な MVC 問題として扱う場合、O(n^2) よりもうまくいくことはありません。これは、検査するエッジの数だからです。

特定の MVC 問題には、より効率的な近似を実行するために利用できる構造がある場合があります。特に、1 つのビューでエピポーラ線を計算し、それらをエピポールからの角度で並べ替え、同様にエピポールからのビュー内の点を並べ替えることをお勧めします。次に、並べ替えられた 2 つのリストをほぼ並行して反復処理し、各点を近くのエピポーラ線に貪欲に関連付けることができます。次に、他のビューで同じことを行うことができますが、前のパスでまだ関連付けられていなかったそのビューのポイントのみを見ることができます。2 番目のパスを必要としない動的計画法 (特に、登録エラーを厳密に制限する場合) を使用すると、より管理された、証明可能な最適なアプローチが可能になると思いますが、それをすぐにスケッチすることはできません。