私はコンピューター ビジョンに挑戦し、そのさまざまな複雑さをわかりやすく説明しようとしています。サーフ機能検出器を使用してカルマン フィルターを拡張しようとしています。しかし、サーフ機能を使用して検出されたフレームでホモグラフィと境界四角形が構築された後に、カルマン メソッドを呼び出して使用する方法がわかりません。入力フレームと比較した後、参照画像を使用して特徴を検出し、キーポイントを抽出しました。次に、フランマッチャーを使用しました。
さて、動きを追跡して予測された動きを取得したいので、カルマン フィルターを使用することは可能ですか。よく検索しましたが、サーフ機能をカルマン フィルターで使用できることがわかりませんでした。私が得ているのは、追跡に cvBlobs を使用するという提案だけです。ただし、理論的には、追跡目的でカルマン フィルターが使用されます。ただし、サーフを使用したビデオベースの追跡のいくつかの実装は、サーフ自体を追跡に使用できることを示しているため、混乱しています。しかし、私の質問は
サーフでカルマン フィルターを使用できない場合、運動予測のための情報が必要なため、モーメントを実装して座標測定値を取得する方法を教えてください。
次のコードを使用して、オブジェクトが検出され、四角形で囲まれた後にそれを実装する方法。
例: 追跡対象のオブジェクト
。一部のフレーム
/* ビデオからのオブジェクトの検出と認識*/
int main() { Mat object = imread( "book1.png",CV_LOAD_IMAGE_GRAYSCALE );
if( !object.data ) { std::cout<< "Error reading object " << std::endl; return -1; } //Detect the keypoints using SURF Detector int minHessian = 500; SurfFeatureDetector detector( minHessian ); std::vector<KeyPoint> kp_object; detector.detect( object, kp_object ); //Calculate descriptors (feature vectors) SurfDescriptorExtractor extractor; Mat des_object; extractor.compute( object, kp_object, des_object ); FlannBasedMatcher matcher; namedWindow("Good Matches"); namedWindow("Tracking"); std::vector<Point2f> obj_corners(4); //Get the corners from the object obj_corners[0] = cvPoint(0,0); obj_corners[1] = cvPoint( object.cols, 0 ); obj_corners[2] = cvPoint( object.cols, object.rows ); obj_corners[3] = cvPoint( 0, object.rows ); char key = 'a'; int framecount = 0; VideoCapture cap("booksvideo.avi"); for(; ;) { Mat frame; cap >> frame; imshow("Good Matches", frame); Mat des_image, img_matches; std::vector<KeyPoint> kp_image; std::vector<vector<DMatch > > matches; std::vector<DMatch > good_matches; std::vector<Point2f> obj; std::vector<Point2f> scene; std::vector<Point2f> scene_corners(4); Mat H; Mat image; //cvtColor(frame, image, CV_RGB2GRAY); detector.detect( image, kp_image ); extractor.compute( image, kp_image, des_image ); matcher.knnMatch(des_object, des_image, matches, 2); //THIS LOOP IS SENSITIVE TO SEGFAULTS for(int i = 0; i < min(des_image.rows-1,(int) matches.size()); i++) { if((matches[i][0].distance < 0.6*(matches[i][4].distance)) && ((int) matches[i].size()<=2 && (int) matches[i].size()>0)) { good_matches.push_back(matches[i][0]); } } //Draw only "good" matches drawMatches( object, kp_object, image, kp_image, good_matches, img_matches, Scalar::all(-1), Scalar::all(-1), vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS ); if (good_matches.size() >= 4) { for( int i = 0; i < good_matches.size(); i++ ) { //Get the keypoints from the good matches obj.push_back( kp_object[ good_matches[i].queryIdx ].pt ); scene.push_back( kp_image[ good_matches[i].trainIdx ].pt ); } H = findHomography( obj, scene, CV_RANSAC ); perspectiveTransform( obj_corners, scene_corners, H); //Draw lines between the corners (the mapped object in the scene image ) line( img_matches, scene_corners[0] + Point2f( object.cols, 0), scene_corners[1] + Point2f( object.cols, 0), Scalar(0, 255, 0), 4 ); line( img_matches, scene_corners[1] + Point2f( object.cols, 0), scene_corners[2] + Point2f( object.cols, 0), Scalar( 0, 255, 0), 4 ); line( img_matches, scene_corners[2] + Point2f( object.cols, 0), scene_corners[3] + Point2f( object.cols, 0), Scalar( 0, 255, 0), 4 ); line( img_matches, scene_corners[3] + Point2f( object.cols, 0), scene_corners[0] + Point2f( object.cols, 0), Scalar( 0, 255, 0), 4 ); } //Show detected matches imshow( "Good Matches", img_matches ); for( int i = 0; i < good_matches.size(); i++ ) { printf( "-- Good Match [%d] Keypoint 1: %d -- Keypoint 2: %d \n", i, good_matches[i].queryIdx, good_matches[i].trainIdx ); } waitKey(0);}
0 を返します。
}