対応する画像の動きに基づいて新しいカメラ位置を計算しようとしています。画像はピンホール カメラ モデルに準拠しています。
実際のところ、有用な結果が得られないので、手順を説明して、誰かが助けてくれることを願っています.
対応する画像の特徴を SIFT で照合し、それらを OpenCV の FlannBasedMatcher で照合し、OpenCV の findFundamentalMat (メソッド RANSAC) で基礎行列を計算します。
次に、カメラの固有行列 (K) によって必須行列を計算します。
Mat E = K.t() * F * K;
特異値分解を使用して、本質的な行列を回転と並進に分解します。
SVD decomp = SVD(E);
Matx33d W(0,-1,0,
1,0,0,
0,0,1);
Matx33d Wt(0,1,0,
-1,0,0,
0,0,1);
R1 = decomp.u * Mat(W) * decomp.vt;
R2 = decomp.u * Mat(Wt) * decomp.vt;
t1 = decomp.u.col(2); //u3
t2 = -decomp.u.col(2); //u3
次に、三角測量によって正しい解を見つけようとします。(この部分はhttp://www.morethantechnical.com/2012/01/04/simple-triangulation-with-opencv-from-harley-zisserman-w-code/からのものなので、正しく動作するはずです)。
次に、新しい位置は次のように計算されます。
new_pos = old_pos + -R.t()*t;
ここで、new_pos と old_pos はベクトル (3x1)、R は回転行列 (3x3)、t は並進ベクトル (3x1) です。
残念ながら、有用な結果は得られませんでした。
以下にいくつかの結果を示します (誰かがそれらのいずれかが明らかに間違っていることを確認できる場合に備えて):
F = [8.093827077399547e-07, 1.102681999632987e-06, -0.0007939604310854831;
1.29246107737264e-06, 1.492629957878578e-06, -0.001211264339006535;
-0.001052930954975217, -0.001278667878010564, 1]
K = [150, 0, 300;
0, 150, 400;
0, 0, 1]
E = [0.01821111092414898, 0.02481034499174221, -0.01651092283654529;
0.02908037424088439, 0.03358417405226801, -0.03397110489649674;
-0.04396975675562629, -0.05262169424538553, 0.04904210357279387]
t = [0.2970648246214448; 0.7352053067682792; 0.6092828956013705]
R = [0.2048034356172475, 0.4709818957303019, -0.858039396912323;
-0.8690270040802598, -0.3158728880490416, -0.3808101689488421;
-0.4503860776474556, 0.8236506374002566, 0.3446041331317597]