3

使用事例

  • 物体はその中心をさまざまな速度で回転しています
  • 固定カメラがオブジェクトを見ている
  • 与えられた 2D イメージ ポイントの対応関係から 3D ポイント クラウドを再構築します
  • オブジェクトが回転すると、その異なる部分がカメラに表示されるため、異なる点と対応が検出されます。


シーン

  a. N 画像
  b. N-1 画像ペア
  ｃ．N-1 2D Point 対応 ( 2D Points 配列 2 つ )


実装

(N-1) 個の 2D ポイント対応のそれぞれについて

  1. カメラ相対ポーズの計算
  2. 三角測量して 3D ポイントを作成します
  3. 2 つの 3D ポイント配列ごとに、[c] で与えられた 2D 対応を使用して対応を導出します。
  4. 3D 対応派生 @ [3] を使用して、オブジェクトの 3D ポイントのそれぞれのトラックを導き出し、オブジェクト ポイント/頂点のそれぞれに対して 1 つのトラックを生成します。


結果：

(N–2) 3D ポイント配列、コレスポンデンス、カメラ ポーズ、およびトラック (オブジェクト ポイントごとに 1 つのトラック)


問題を解決するために考えられるアプローチ:

三角測量の結果が一定の縮尺まで正確であることを前提として、点群を計算します。
  A. 三角測量の結果とカメラ相対移動のそれぞれは
      、非同次座標で表されます (各結果は異なるスケールを持ちます)。
  B. オブジェクト構造が固体であり、変化しないという仮定の下では、
      各 3D ポイントからその中心までの距離は、すべてのカメラ ポーズで同じである必要があります。
  C. [B] を念頭に置いて、[A] と Cameras Translations のすべての三角測量 3D ポイントを
      同次座標系に変換できます。
  D. カメラ ポーズの 1 つを選択し、各トラックの最初のポイントを変換します (@ [4] で定義)。
      その Camera Pose (蓄積された Camera Pose の逆数による Transform
      ) に、その結​​果、期待されるポイントができました。

上記は、2D ポイント対応からポイント クラウドを生成する正しいアプローチですか?

4

1 に答える 1

3

オブジェクトを再構築するのは正しい手順です。私は昨年、私たちの大学のプロジェクトでこのトピックに取り組みました。私が経験したことは、カメラを手で動かしてオブジェクトを再構成するのは簡単ではないということです。

マッチング

まず、関心点の一致について考える必要があります。SURF と SIFT は、この点に適したマッチング方法です。オブジェクトの移動角度が 15° 未満の場合、通常の SURF よりも少し速い USURF を使用することを考えることができます (詳細については、SURF の論文を参照してください)。私たちのプロジェクトでは、OpenCV のオプティカル フローを使用することにしました。少し遅く見えますが、異常値に対してより堅牢でした。あなたのオブジェクトは回転しているだけなので、これを使用することも考えられます。

マトリックスの評価

次は、新しいカメラ マトリックスの結果を評価します。オブジェクトがどれだけ回転したかを調べる可能性はありますか (ステップモーターなど)? したがって、計算結果をモーターのステップと比較できます。しきい値よりも高い場合は、計算が悪かったことがわかります。ただし、一部のステップ モーターの精度はそれほど良くありませんが、いくつかの実験により、それに関するより多くの情報が得られる可能性があります。

雲の評価

計算された雲を評価するいくつかの良い方法があります。最も簡単な方法は、雲の再投影誤差を計算することです。そのためには、再構成を逆にして、計算された画像が元の対応する点からどれだけ離れているかを調べます。もう 1 つのテストは、すべてのポイントがカメラの正面にあるかどうかを確認することです。計算することにより、ポイントがカメラの前後にある可能性があります。両方のカメラが互いに接近し、三角測量も終了するときに発生する可能性があることを理解しています。

最初の画像ペア

この手順が静的カメラで必要かどうかはわかりません。しかし、まず第一に、ファンダメンタル マトリックスを計算する必要がありました。最も一致する画像ペアを使用してそれらを抽出し、RANSAC バージョンを使用すると最良の結果が得られるという経験をしました。しかし、最初のショットで最も多くの Intereset ポイントが前面に来るように、オブジェクトを配置することができます。

次の画像ペア

非常にうまく機能したのは、以前の古い画像ペアから計算された既存の点群から新しいカメラ位置を抽出することです。そのために、以前に画像の 2D 3D 対応を覚えています。これは、PerspectivenPoint Camera Pose Estimation (PnP) と呼ばれます。

最後に、良い結果と悪い結果がいくつかありました。スキャン対象物によるものでした。ここに私を助けたいくつかの論文があります：

世界のモデリング

ライブ メトリック 3D 再構成

于 2014-05-15T12:27:08.587 に答える