4

私の質問は次のとおりです。

  • 基本行列が正しいかどうかを確認するにはどうすればよいですか？
  • 以下に投稿したコードは、それに向けて良い努力をしていますか？

私の最終目標は、ある種の3D再構成を行うことです。現在、2台のカメラの差を推定できるように、基本行列を計算しようとしています。私はこれをopenFrameworks内で、ofxCvアドオンを使用して行っていますが、ほとんどの場合、それは純粋なOpenCVです。ofxCvも開発中であるため、問題を切り分けるコードを投稿することは困難です。

私のコードは基本的に、ウェブカメラがわずかに異なる位置から取得した2つの640x480フレームを読み取ります（基本的には、ラップトップを少し水平にスライドさせるだけです）。を使用するofxCvのキャリブレーションコードから取得した、そのキャリブレーションマトリックスをすでに持っていますfindChessboardCorners。歪みのないサンプルコードは、キャリブレーションマトリックスが正確であることを示しているようです。画像間のオプティカルフロー（またはのいずれcalcOpticalFlowPyrLKかcalcOpticalFlowFarneback）を計算し、それらのポイントペアをにフィードしfindFundamentalMatrixます。

基本行列が有効かどうかをテストするために、回転行列と変換行列に分解しました。次に、回転行列に2番目の画像のポイントを掛けて、カメラ間の回転の違いを確認しました。違いは小さいはずだと思いましたが、大きな違いが出てきています。

これが私の最後のコードの基本的な回転行列です。

fund: [-8.413948689969405e-07, -0.0001918870646474247, 0.06783422344973795;
    0.0001877654679452431, 8.522397812179886e-06, 0.311671691674232;
    -0.06780237856576941, -0.3177275967586101, 1]
R: [0.8081771697692786, -0.1096128431920695, -0.5786490187247098;
    -0.1062963539438068, -0.9935398408215166, 0.03974506055610323;
    -0.5792674230456705, 0.02938723035105822, -0.8146076621848839]
t: [0, 0.3019063882496216, -0.05799044915951077;
    -0.3019063882496216, 0, -0.9515721940769112;
    0.05799044915951077, 0.9515721940769112, 0]

これが、2枚目の写真が撮られた後に発生するコードの私の部分です。

const ofImage& image1 = images[images.size() - 2];
const ofImage& image2 = images[images.size() - 1];

std::vector<cv::Point2f> points1 = flow->getPointsPrev();
std::vector<cv::Point2f> points2 = flow->getPointsNext();

std::vector<cv::KeyPoint> keyPoints1 = convertFrom(points1);
std::vector<cv::KeyPoint> keyPoints2 = convertFrom(points2);

std::cout << "points1: " << points1.size() << std::endl;
std::cout << "points2: " << points2.size() << std::endl;


fundamentalMatrix = (cv::Mat)cv::findFundamentalMat(points1, points2);
cv::Mat cameraMatrix = (cv::Mat)calibration.getDistortedIntrinsics().getCameraMatrix();
cv::Mat cameraMatrixInv = cameraMatrix.inv();
std::cout << "fund: " << fundamentalMatrix << std::endl;

essentialMatrix = cameraMatrix.t() * fundamentalMatrix * cameraMatrix;

cv::SVD svd(essentialMatrix);
Matx33d W(0,-1,0,   //HZ 9.13
          1,0,0,
          0,0,1);

cv::Mat_<double> R = svd.u * Mat(W).inv() * svd.vt; //HZ 9.19

std::cout << "R: " << (cv::Mat)R << std::endl;
Matx33d Z(0, -1, 0,
          1, 0, 0,
          0, 0, 0);
cv::Mat_<double> t = svd.vt.t() * Mat(Z) * svd.vt;
std::cout << "t: " << (cv::Mat)t << std::endl;

Vec3d tVec = Vec3d(t(1,2), t(2,0), t(0,1));

Matx34d P1 = Matx34d(R(0,0),    R(0,1), R(0,2), tVec(0),
                     R(1,0),    R(1,1), R(1,2), tVec(1),
                     R(2,0),    R(2,1), R(2,2), tVec(2));
ofMatrix4x4 ofR(R(0,0),    R(0,1), R(0,2), 0,
                R(1,0),    R(1,1), R(1,2), 0,
                R(2,0),    R(2,1), R(2,2), 0,
                0, 0, 0, 1);
ofRs.push_back(ofR);

cv::Matx34d P(1,0,0,0,
              0,1,0,0,
              0,0,1,0);

for (int y = 0; y < image1.height; y += 10) {
    for (int x = 0; x < image1.width; x += 10) {
        Vec3d vec(x, y, 0);

        Point3d point1(vec.val[0], vec.val[1], vec.val[2]);
        Vec3d result = (cv::Mat)((cv::Mat)R * (cv::Mat)vec);
        Point3d point2 = result;


        mesh.addColor(image1.getColor(x, y));
        mesh.addVertex(ofVec3f(point1.x, point1.y, point1.z));

        mesh.addColor(image2.getColor(x, y));
        mesh.addVertex(ofVec3f(point2.x, point2.y, point2.z));
    }
}

何か案は？私の基本行列は正しく見えますか、それともテストで間違った考えを持っていますか？

4

3 に答える 3

2

基本行列が正しいかどうかを知りたい場合は、エラーを計算する必要があります。エピポーラ制約式を使用すると、一方の画像で検出された特徴がもう一方の画像のエピポーラ線上にどれだけ近いかを確認できます。理想的には、これらの内積の合計は0になるはずです。したがって、キャリブレーションエラーは絶対距離（SAD）の合計として計算されます。SADの平均は、ステレオキャリブレーションエラーとして報告されます。基本的に、対応するエピポーラ線からimage_left（チェス盤の角である可能性があります）の計算された特徴のSADを計算しています。このエラーはpixel^2で測定され、1未満であれば許容されます。

OpenCVにはコード例があります。StereoCalibratecppファイルを見てください。これは、このエラーを計算する方法を示しています。 https://code.ros.org/trac/opencv/browser/trunk/opencv/samples/c/stereo_calib.cpp?rev=2614「avgErr 」の260〜269行目を見てください

アンクル

于 2012-08-24T06:00:59.130 に答える
0

Fを計算するために使用する前に、正しくない一致を削除しなかったと思います。また、Fを検証する方法についても考えています。x'Fx= 0から、数式内のいくつかのx'とxを置き換えることができます。

カイルファン

于 2016-07-04T09:14:15.487 に答える
0

私はこれを行うためにPython関数を書きました：

def Ferror(F,pts1,pts2):  # pts are Nx3 array of homogenous coordinates.  
    # how well F satisfies the equation pt1 * F * pt2 == 0
    vals = pts1.dot(F).dot(pts2.T)
    err = np.abs(vals)
    print("avg Ferror:",np.mean(err))
    return np.mean(err)
于 2019-11-26T17:21:38.930 に答える