同じプログラムに関する問題で以前に投稿しましたが、回答がありませんでした。それ以来、その時点で発生していた問題を修正しましたが、新しい問題に直面するだけでした。
基本的に、私は、キャリブレーションされていないアプローチを使用して、回転と変換のためにステレオ画像のペアを自動修正しています。SURFなどの特徴検出アルゴリズムを使用して、左右のステレオ画像ペアの2つの画像内のポイントを検索し、SURFを再度使用して2つの画像間のポイントを照合します。次に、これらの一致した点を使用して、画像を修正するために使用できる基本行列を見つける必要があります。
私の問題はこれです。私の一致点は、記述子の一致の単一のベクトルに格納され、外れ値に対してフィルタリングされます。findFundamentalMatは、一致するポイントの2つの別々の配列を入力として受け取ります。ベクトルから2つの別々の配列に変換する方法がわかりません。
cout << "< Matching descriptors..." << endl;
vector<DMatch> filteredMatches;
crossCheckMatching( descriptorMatcher, descriptors1, descriptors2, filteredMatches, 1 );
cout << filteredMatches.size() << " matches" << endl << ">" << endl;
ベクトルが作成されます。
void crossCheckMatching( Ptr<DescriptorMatcher>& descriptorMatcher,
const Mat& descriptors1, const Mat& descriptors2,
vector<DMatch>& filteredMatches12, int knn=1 )
{
filteredMatches12.clear();
vector<vector<DMatch> > matches12, matches21;
descriptorMatcher->knnMatch( descriptors1, descriptors2, matches12, knn );
descriptorMatcher->knnMatch( descriptors2, descriptors1, matches21, knn );
for( size_t m = 0; m < matches12.size(); m++ )
{
bool findCrossCheck = false;
for( size_t fk = 0; fk < matches12[m].size(); fk++ )
{
DMatch forward = matches12[m][fk];
for( size_t bk = 0; bk < matches21[forward.trainIdx].size(); bk++ )
{
DMatch backward = matches21[forward.trainIdx][bk];
if( backward.trainIdx == forward.queryIdx )
{
filteredMatches12.push_back(forward);
findCrossCheck = true;
break;
}
}
if( findCrossCheck ) break;
}
}
}
一致はクロスチェックされ、filteredMatches内に保存されます。
cout << "< Computing homography (RANSAC)..." << endl;
vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
H12 = findHomography( Mat(points1), Mat(points2), CV_RANSAC, ransacReprojThreshold );
cout << ">" << endl;
ホモグラフィは、コマンドプロンプトで実行時に設定されたしきい値に基づいて検出されます。
//Mat drawImg;
if( !H12.empty() ) // filter outliers
{
vector<char> matchesMask( filteredMatches.size(), 0 );
vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
Mat points1t; perspectiveTransform(Mat(points1), points1t, H12);
for( size_t i1 = 0; i1 < points1.size(); i1++ )
{
if( norm(points2[i1] - points1t.at<Point2f>((int)i1,0)) < 4 ) // inlier
matchesMask[i1] = 1;
}
/* draw inliers
drawMatches( leftImg, keypoints1, rightImg, keypoints2, filteredMatches, drawImg, CV_RGB(0, 255, 0), CV_RGB(0, 0, 255), matchesMask, 2 ); */
}
一致はさらにフィルタリングされ、外れ値が削除されます。
...そして何？findFundamentalMatで使用するために、残っているものを一致するポイントの2つのマットに分割するにはどうすればよいですか？
編集
これで、マスクを使用してfinalMatchesベクトルを作成しました（これにより、上記の最終的なフィルタリング手順が置き換えられます）。
Mat drawImg;
if( !H12.empty() ) // filter outliers
{
size_t i1;
vector<char> matchesMask( filteredMatches.size(), 0 );
vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
Mat points1t; perspectiveTransform(Mat(points1), points1t, H12);
for( i1 = 0; i1 < points1.size(); i1++ )
{
if( norm(points2[i1] - points1t.at<Point2f>((int)i1,0)) < 4 ) // inlier
matchesMask[i1] = 1;
}
for( i1 = 0; i1 < filteredMatches.size(); i1++ )
{
if ( matchesMask[i1] == 1 )
finalMatches.push_back(filteredMatches[i1]);
}
namedWindow("matches", 1);
// draw inliers
drawMatches( leftImg, keypoints1, rightImg, keypoints2, filteredMatches, drawImg, CV_RGB(0, 255, 0), CV_RGB(0, 0, 255), matchesMask, 2 );
imshow("matches", drawImg);
}
ただし、finalMatches DMatchベクトルをMat配列に分割する方法がまだわかりません。これは、findFundamentalMatにフィードする必要があります。助けてください!!!
編集
実用的な（一種の）ソリューション：
Mat drawImg;
vector<Point2f> finalPoints1;
vector<Point2f> finalPoints2;
if( !H12.empty() ) // filter outliers
{
size_t i, idx;
vector<char> matchesMask( filteredMatches.size(), 0 );
vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
Mat points1t; perspectiveTransform(Mat(points1), points1t, H12);
for( i = 0; i < points1.size(); i++ )
{
if( norm(points2[i] - points1t.at<Point2f>((int)i,0)) < 4 ) // inlier
matchesMask[i] = 1;
}
for ( idx = 0; idx < filteredMatches.size(); idx++)
{
if ( matchesMask[idx] == 1 ) {
finalPoints1.push_back(keypoints1[filteredMatches[idx].queryIdx].pt);
finalPoints2.push_back(keypoints2[filteredMatches[idx].trainIdx].pt);
}
}
namedWindow("matches", 0);
// draw inliers
drawMatches( leftImg, keypoints1, rightImg, keypoints2, filteredMatches, drawImg, CV_RGB(0, 255, 0), CV_RGB(0, 0, 255), matchesMask, 2 );
imshow("matches", drawImg);
}
次に、finalPoints1とfinalPoints2をMatとしてfindFundamentalMatにフィードします。今私の唯一の問題は、私の出力が期待どおりにリモートではなく、画像がすべて台無しになっていることです：-/