編集: この投稿を通じて十分な評判を得て、より多くのリンクで編集できるようになりました。これにより、私の主張をよりよく理解することができます
アイザックの装丁をしている人は、小さな台座の上に重要なアイテムに出くわすことがよくあります。
目標は、ユーザーがボタンを押すことができるアイテムについて混乱させ、アイテムを「ボックス化」するように指示することです (Windows デスクトップのボックス化を考えてください)。ボックスは、アイテムのグリッド全体と比較するための関心領域 (実際のアイテムと背景環境) を提供します。
理論上のユーザーボックスアイテム
項目の理論的なグリッド (これ以上はありません。isaac wiki のバインディングからこれを切り取っただけです)
ユーザーがボックス化したアイテムとして識別されるアイテムのグリッド内の位置は、アイテムに関する情報を提供する isaac wiki のバインディングへの適切なリンクに相関する画像上の特定の領域を表します。
グリッドでは、項目は 1 列目、下の行から 3 番目です。以下で試したすべてのことで、これらの2つの画像を使用します
私の目標は、ゲーム「The Binding of Isaac」からアイテムを手動で切り取り、画像をゲーム内のアイテムの表の画像と比較して切り抜いたアイテムを識別し、適切な画像を表示できるプログラムを作成することです。ウィキページ。
これは、私がやりたいことを成し遂げるために膨大な量のライブラリ学習を必要とするという意味で、私の最初の「本当のプロジェクト」です。少し圧倒されました。
グーグルで検索しただけで、いくつかのオプションをいじりました。(私が使用したチュートリアルは、メソッド名と opencv で検索するとすぐに見つかります。私のアカウントは、何らかの理由でリンクの投稿が厳しく制限されています)
ブルートフォースマッチャーの使用:
http://docs.opencv.org/doc/tutorials/features2d/feature_description/feature_description.html
#include <stdio.h>
#include <iostream>
#include "opencv2/core/core.hpp"
#include <opencv2/legacy/legacy.hpp>
#include <opencv2/nonfree/features2d.hpp>
#include "opencv2/highgui/highgui.hpp"
using namespace cv;
void readme();
/** @function main */
int main( int argc, char** argv )
{
if( argc != 3 )
{ return -1; }
Mat img_1 = imread( argv[1], CV_LOAD_IMAGE_GRAYSCALE );
Mat img_2 = imread( argv[2], CV_LOAD_IMAGE_GRAYSCALE );
if( !img_1.data || !img_2.data )
{ return -1; }
//-- Step 1: Detect the keypoints using SURF Detector
int minHessian = 400;
SurfFeatureDetector detector( minHessian );
std::vector<KeyPoint> keypoints_1, keypoints_2;
detector.detect( img_1, keypoints_1 );
detector.detect( img_2, keypoints_2 );
//-- Step 2: Calculate descriptors (feature vectors)
SurfDescriptorExtractor extractor;
Mat descriptors_1, descriptors_2;
extractor.compute( img_1, keypoints_1, descriptors_1 );
extractor.compute( img_2, keypoints_2, descriptors_2 );
//-- Step 3: Matching descriptor vectors with a brute force matcher
BruteForceMatcher< L2<float> > matcher;
std::vector< DMatch > matches;
matcher.match( descriptors_1, descriptors_2, matches );
//-- Draw matches
Mat img_matches;
drawMatches( img_1, keypoints_1, img_2, keypoints_2, matches, img_matches );
//-- Show detected matches
imshow("Matches", img_matches );
waitKey(0);
return 0;
}
/** @function readme */
void readme()
{ std::cout << " Usage: ./SURF_descriptor <img1> <img2>" << std::endl; }
あまり役に立たないものになります。flann を使用すると、よりクリーンですが、同様に信頼性の低い結果が得られます。
http://docs.opencv.org/doc/tutorials/features2d/feature_flann_matcher/feature_flann_matcher.html
#include <stdio.h>
#include <iostream>
#include "opencv2/core/core.hpp"
#include <opencv2/legacy/legacy.hpp>
#include <opencv2/nonfree/features2d.hpp>
#include "opencv2/highgui/highgui.hpp"
using namespace cv;
void readme();
/** @function main */
int main( int argc, char** argv )
{
if( argc != 3 )
{ readme(); return -1; }
Mat img_1 = imread( argv[1], CV_LOAD_IMAGE_GRAYSCALE );
Mat img_2 = imread( argv[2], CV_LOAD_IMAGE_GRAYSCALE );
if( !img_1.data || !img_2.data )
{ std::cout<< " --(!) Error reading images " << std::endl; return -1; }
//-- Step 1: Detect the keypoints using SURF Detector
int minHessian = 400;
SurfFeatureDetector detector( minHessian );
std::vector<KeyPoint> keypoints_1, keypoints_2;
detector.detect( img_1, keypoints_1 );
detector.detect( img_2, keypoints_2 );
//-- Step 2: Calculate descriptors (feature vectors)
SurfDescriptorExtractor extractor;
Mat descriptors_1, descriptors_2;
extractor.compute( img_1, keypoints_1, descriptors_1 );
extractor.compute( img_2, keypoints_2, descriptors_2 );
//-- Step 3: Matching descriptor vectors using FLANN matcher
FlannBasedMatcher matcher;
std::vector< DMatch > matches;
matcher.match( descriptors_1, descriptors_2, matches );
double max_dist = 0; double min_dist = 100;
//-- Quick calculation of max and min distances between keypoints
for( int i = 0; i < descriptors_1.rows; i++ )
{ double dist = matches[i].distance;
if( dist < min_dist ) min_dist = dist;
if( dist > max_dist ) max_dist = dist;
}
printf("-- Max dist : %f \n", max_dist );
printf("-- Min dist : %f \n", min_dist );
//-- Draw only "good" matches (i.e. whose distance is less than 2*min_dist )
//-- PS.- radiusMatch can also be used here.
std::vector< DMatch > good_matches;
for( int i = 0; i < descriptors_1.rows; i++ )
{ if( matches[i].distance < 2*min_dist )
{ good_matches.push_back( matches[i]); }
}
//-- Draw only "good" matches
Mat img_matches;
drawMatches( img_1, keypoints_1, img_2, keypoints_2,
good_matches, img_matches, Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
//-- Show detected matches
imshow( "Good Matches", img_matches );
for( int i = 0; i < good_matches.size(); i++ )
{ printf( "-- Good Match [%d] Keypoint 1: %d -- Keypoint 2: %d \n", i, good_matches[i].queryIdx, good_matches[i].trainIdx ); }
waitKey(0);
return 0;
}
/** @function readme */
void readme()
{ std::cout << " Usage: ./SURF_FlannMatcher <img1> <img2>" << std::endl; }
テンプレートマッチングは、これまでのところ私の最良の方法です。ただし、6つの方法のうち、0〜4の正しい識別しか取得できません。
http://docs.opencv.org/doc/tutorials/imgproc/histograms/template_matching/template_matching.html
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>
using namespace std;
using namespace cv;
/// Global Variables
Mat img; Mat templ; Mat result;
char* image_window = "Source Image";
char* result_window = "Result window";
int match_method;
int max_Trackbar = 5;
/// Function Headers
void MatchingMethod( int, void* );
/** @function main */
int main( int argc, char** argv )
{
/// Load image and template
img = imread( argv[1], 1 );
templ = imread( argv[2], 1 );
/// Create windows
namedWindow( image_window, CV_WINDOW_AUTOSIZE );
namedWindow( result_window, CV_WINDOW_AUTOSIZE );
/// Create Trackbar
char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
MatchingMethod( 0, 0 );
waitKey(0);
return 0;
}
/**
* @function MatchingMethod
* @brief Trackbar callback
*/
void MatchingMethod( int, void* )
{
/// Source image to display
Mat img_display;
img.copyTo( img_display );
/// Create the result matrix
int result_cols = img.cols - templ.cols + 1;
int result_rows = img.rows - templ.rows + 1;
result.create( result_cols, result_rows, CV_32FC1 );
/// Do the Matching and Normalize
matchTemplate( img, templ, result, match_method );
normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
/// Localizing the best match with minMaxLoc
double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;
minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
/// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
if( match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
{ matchLoc = minLoc; }
else
{ matchLoc = maxLoc; }
/// Show me what you got
rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
imshow( image_window, img_display );
imshow( result_window, result );
return;
}
http://imgur.com/pIRBPQM,h0wkqer,1JG0QY0,haLJzRF,CmrlTeL,DZuW73V#3
6 つのうち、不合格、合格、不合格、合格、合格、合格
しかし、これは一種の最良の結果でした。次に試したアイテムは
失敗、失敗、失敗、失敗、失敗、失敗という結果になりました
項目ごとに、これらすべての方法には、うまく機能するものもあれば、ひどく機能するものもあります。
だから私は尋ねます：テンプレートマッチングは私の最善の策ですか、それとも私の聖杯になるとは考えていない方法はありますか?
ユーザーにクロップを手動で作成してもらうにはどうすればよいですか? これに関するOpencvのドキュメントは本当に悪く、オンラインで見つけた例は非常に古いcppまたはストレートCです.
助けてくれてありがとう。このベンチャーは、これまでのところ興味深い経験でした。すべてがどのようにうまくいっているかをよりよく描写するために、すべてのリンクを削除する必要がありましたが、サイトは、そうでない場合でも 10 個を超えるリンクを投稿していると言っています。
ゲーム全体のアイテムのいくつかの例:
岩は珍しいアイテムであり、画面の「どこにでも」ある数少ないアイテムの 1 つです。岩のようなアイテムは、ユーザーによるアイテムのトリミングがアイテムを分離するための最良の方法である理由です。
ボス戦後のアイテムで、どこにでもたくさんの物があり、真ん中が透明です。これが正しく機能するのが難しいものの1つであると思います
珍しい部屋。シンプルな背景。アイテムの透明性はありません。
ここに 2 つのテーブルがあります。ゲーム内のすべてのアイテムは.. 最終的には 1 つの画像にしますが、今のところは isaac wiki から直接取得したものです。
