7

opencv EM アルゴリズムを使用して色を抽出しようとしています。opencv ドキュメントの例に基づいて、次のコードを使用しています。

cv::Mat capturedFrame ( height, width, CV_8UC3 );
int i, j;
int nsamples = 1000;
cv::Mat samples ( nsamples, 2, CV_32FC1 );
cv::Mat labels;
cv::Mat img = cv::Mat::zeros ( height, height, CV_8UC3 );
img = capturedFrame;
cv::Mat sample ( 1, 2, CV_32FC1 );
CvEM em_model;
CvEMParams params;
samples = samples.reshape ( 2, 0 );

    for ( i = 0; i < N; i++ )
    {           
        //from the training samples
        cv::Mat samples_part = samples.rowRange ( i*nsamples/N, (i+1)*nsamples/N);

        cv::Scalar mean (((i%N)+1)*img.rows/(N1+1),((i/N1)+1)*img.rows/(N1+1));
        cv::Scalar sigma (30,30);
        cv::randn(samples_part,mean,sigma);                     

    }       

    samples = samples.reshape ( 1, 0 );

    //initialize model parameters
    params.covs         = NULL;
    params.means        = NULL;
    params.weights      = NULL;
    params.probs        = NULL;
    params.nclusters    = N;
    params.cov_mat_type = CvEM::COV_MAT_SPHERICAL;
    params.start_step   = CvEM::START_AUTO_STEP;
    params.term_crit.max_iter = 300;
    params.term_crit.epsilon  = 0.1;
    params.term_crit.type   = CV_TERMCRIT_ITER|CV_TERMCRIT_EPS;     
    //cluster the data
    em_model.train ( samples, Mat(), params, &labels );     

    cv::Mat probs;
    probs = em_model.getProbs();

    cv::Mat weights;
    weights = em_model.getWeights();

cv::Mat modelIndex = cv::Mat::zeros ( img.rows, img.cols, CV_8UC3 );

for ( i = 0; i < img.rows; i ++ )
{
    for ( j = 0; j < img.cols; j ++ )
    {
        sample.at<float>(0) = (float)j;
    sample.at<float>(1) = (float)i;     

    int response = cvRound ( em_model.predict ( sample ) ); 
    modelIndex.data [ modelIndex.cols*i + j] = response;

    }
}

ここでの私の質問は次のとおりです。

まず、ここでは合計 5 つの各モデルを抽出し、対応するピクセル値を 5 つの異なるマトリックスに格納します。この場合、5 つの異なる色を別々に使用できます。ここではインデックスのみを取得しましたが、ここで対応する色を実現する方法はありますか? 簡単にするために、これら 5 つの GMM に基づいてドミナント カラーを見つけることから始めます。

次に、ここで私のサンプル データポイントは「100」で、約 3 秒かかります。しかし、これらすべてを 30 ミリ秒以内で実行したいと考えています。GMM を使用している OpenCV バックグラウンド抽出が 20 ミリ秒未満で非常に高速に実行されることはわかっています。つまり、すべての 600x800=480000 ピクセルに対して 30 ミリ秒以内にこれらすべてを実行する方法が必要です。predict関数が最も時間がかかることが わかりました。

4

1 に答える 1

12

最初の質問:

色抽出を行うには、まず入力ピクセルで EM をトレーニングする必要があります。その後、すべての入力ピクセルを再度ループし、predict() を使用してそれぞれを分類します。色に基づく前景/背景の分離に EM を利用する小さな例を添付しました。各ガウスの支配的な色 (平均) を抽出する方法と、元のピクセルの色にアクセスする方法を示します。

#include <opencv2/opencv.hpp>

int main(int argc, char** argv) {

    cv::Mat source = cv::imread("test.jpg");

    //ouput images
    cv::Mat meanImg(source.rows, source.cols, CV_32FC3);
    cv::Mat fgImg(source.rows, source.cols, CV_8UC3);
    cv::Mat bgImg(source.rows, source.cols, CV_8UC3);

    //convert the input image to float
    cv::Mat floatSource;
    source.convertTo(floatSource, CV_32F);

    //now convert the float image to column vector
    cv::Mat samples(source.rows * source.cols, 3, CV_32FC1);
    int idx = 0;
    for (int y = 0; y < source.rows; y++) {
        cv::Vec3f* row = floatSource.ptr<cv::Vec3f > (y);
        for (int x = 0; x < source.cols; x++) {
            samples.at<cv::Vec3f > (idx++, 0) = row[x];
        }
    }

    //we need just 2 clusters
    cv::EMParams params(2);
    cv::ExpectationMaximization em(samples, cv::Mat(), params);

    //the two dominating colors
    cv::Mat means = em.getMeans();
    //the weights of the two dominant colors
    cv::Mat weights = em.getWeights();

    //we define the foreground as the dominant color with the largest weight
    const int fgId = weights.at<float>(0) > weights.at<float>(1) ? 0 : 1;

    //now classify each of the source pixels
    idx = 0;
    for (int y = 0; y < source.rows; y++) {
        for (int x = 0; x < source.cols; x++) {

            //classify
            const int result = cvRound(em.predict(samples.row(idx++), NULL));
            //get the according mean (dominant color)
            const double* ps = means.ptr<double>(result, 0);

            //set the according mean value to the mean image
            float* pd = meanImg.ptr<float>(y, x);
            //float images need to be in [0..1] range
            pd[0] = ps[0] / 255.0;
            pd[1] = ps[1] / 255.0;
            pd[2] = ps[2] / 255.0;

            //set either foreground or background
            if (result == fgId) {
                fgImg.at<cv::Point3_<uchar> >(y, x, 0) = source.at<cv::Point3_<uchar> >(y, x, 0);
            } else {
                bgImg.at<cv::Point3_<uchar> >(y, x, 0) = source.at<cv::Point3_<uchar> >(y, x, 0);
            }
        }
    }

    cv::imshow("Means", meanImg);
    cv::imshow("Foreground", fgImg);
    cv::imshow("Background", bgImg);
    cv::waitKey(0);

    return 0;
}

次の画像でコードをテストしましたが、非常にうまく機能します。

ここに画像の説明を入力

2 番目の質問:

クラスターの最大数がパフォーマンスに大きな影響を与えることに気付きました。したがって、これを空のままにしたり、例のようにサンプル数に設定したりするのではなく、非常に控えめな値に設定することをお勧めします。さらに、ドキュメントには、制約の少ないパラメーターを使用してモデルを繰り返し最適化するための反復手順が記載されています。たぶん、これはあなたにいくらかのスピードアップをもたらします。詳細については、ここで train() に提供されているサンプル コード内のドキュメントを参照してください。

于 2012-10-22T15:46:22.967 に答える