c++ - libsvm (C++) 常に同じ予測を出力する

Question

libsvm の OpenCV/C++ ラッパーを実装しました。SVM パラメーター (RBF カーネル) のグリッド検索を実行すると、予測は常に同じラベルを返します。非常に簡単に分離できるデータを持つ人工データセットを作成しました (そして、トレーニングしたばかりのデータを予測しようとしました) が、それでも同じラベルが返されます。

libsvm の MATLAB 実装を使用して、同じデータセットで高い精度を達成しました。問題の設定で何か間違ったことをしているに違いありませんが、README を何度も読みましたが、問題を見つけることができません。

データが OpenCV Mat である libsvm 問題を設定する方法は次のとおりです。

    const int rowSize = data.rows;
    const int colSize = data.cols;

    this->_svmProblem = new svm_problem;
    std::memset(this->_svmProblem,0,sizeof(svm_problem));

    //dynamically allocate the X matrix...
    this->_svmProblem->x = new svm_node*[rowSize];
    for(int row = 0; row < rowSize; ++row)
        this->_svmProblem->x[row] = new svm_node[colSize + 1];

    //...and the y vector
    this->_svmProblem->y = new double[rowSize];
    this->_svmProblem->l = rowSize;

    for(int row = 0; row < rowSize; ++row)
    {
        for(int col = 0; col < colSize; ++col)
        {
            //set the index and the value. indexing starts at 1.
            this->_svmProblem->x[row][col].index = col + 1;
            double tempVal = (double)data.at<float>(row,col);
            this->_svmProblem->x[row][col].value = tempVal;
        }

        this->_svmProblem->x[row][colSize].index = -1;
        this->_svmProblem->x[row][colSize].value = 0;

        //add the label to the y array, and feature vector to X matrix
        double tempVal = (double)labels.at<float>(row);
        this->_svmProblem->y[row] = tempVal;
    }


}/*createProblem()*/

パラメーターの設定方法は次のとおりです。svmParams は、C/Gamma などの独自の構造体です。

    this->_svmParameter = new svm_parameter;
    std::memset(this->_svmParameter,0,sizeof(svm_parameter));
    this->_svmParameter->svm_type = svmParams.svmType;
    this->_svmParameter->kernel_type = svmParams.kernalType;
    this->_svmParameter->C = svmParams.C;
    this->_svmParameter->gamma = svmParams.gamma;
    this->_svmParameter->nr_weight = 0;
    this->_svmParameter->eps = 0.001;
    this->_svmParameter->degree = 1;
    this->_svmParameter->shrinking = 0;
    this->_svmParameter->probability = 1;
    this->_svmParameter->cache_size = 100;

提供されたパラメーター/問題チェック機能を使用しましたが、エラーは返されません。

次に、次のようにトレーニングします。

this->_svmModel = svm_train(this->_svmProblem, this->_svmParameter);

そして、次のように予測します。

float pred = (float)svm_predict(this->_svmModel, x[i]);

ここで私がどこで間違っているかを誰かが指摘できれば、とても感謝しています。ありがとうございました！

編集：

このコードを使用して、問題の内容を印刷しました

for(int i = 0; i < rowSize; ++i)
    {
        std::cout << "[";
        for(int j = 0; j < colSize + 1; ++j)
        {
            std::cout << " (" << this->_svmProblem->x[i][j].index << ", " << this->_svmProblem->x[i][j].value << ")";
        }
        std::cout << "]" << " <" << this->_svmProblem->y[i] << ">" << std::endl;
    }

出力は次のとおりです。

[ (1, -1) (2, 0) (-1, 0)] <1>
[ (1, -0.92394) (2, 0) (-1, 0)] <1>
[ (1, -0.7532) (2, 0) (-1, 0)] <1>
[ (1, -0.75977) (2, 0) (-1, 0)] <1>
[ (1, -0.75337) (2, 0) (-1, 0)] <1>
[ (1, -0.76299) (2, 0) (-1, 0)] <1>
[ (1, -0.76527) (2, 0) (-1, 0)] <1>
[ (1, -0.74631) (2, 0) (-1, 0)] <1>
[ (1, -0.85153) (2, 0) (-1, 0)] <1>
[ (1, -0.72436) (2, 0) (-1, 0)] <1>
[ (1, -0.76485) (2, 0) (-1, 0)] <1>
[ (1, -0.72936) (2, 0) (-1, 0)] <1>
[ (1, -0.94004) (2, 0) (-1, 0)] <1>
[ (1, -0.92756) (2, 0) (-1, 0)] <1>
[ (1, -0.9688) (2, 0) (-1, 0)] <1>
[ (1, 0.05193) (2, 0) (-1, 0)] <3>
[ (1, -0.048488) (2, 0) (-1, 0)] <3>
[ (1, 0.070436) (2, 0) (-1, 0)] <3>
[ (1, 0.15191) (2, 0) (-1, 0)] <3>
[ (1, -0.07331) (2, 0) (-1, 0)] <3>
[ (1, 0.019786) (2, 0) (-1, 0)] <3>
[ (1, -0.072793) (2, 0) (-1, 0)] <3>
[ (1, 0.16157) (2, 0) (-1, 0)] <3>
[ (1, -0.057188) (2, 0) (-1, 0)] <3>
[ (1, -0.11187) (2, 0) (-1, 0)] <3>
[ (1, 0.15886) (2, 0) (-1, 0)] <3>
[ (1, -0.0701) (2, 0) (-1, 0)] <3>
[ (1, -0.17816) (2, 0) (-1, 0)] <3>
[ (1, 0.12305) (2, 0) (-1, 0)] <3>
[ (1, 0.058615) (2, 0) (-1, 0)] <3>
[ (1, 0.80203) (2, 0) (-1, 0)] <1>
[ (1, 0.734) (2, 0) (-1, 0)] <1>
[ (1, 0.9072) (2, 0) (-1, 0)] <1>
[ (1, 0.88061) (2, 0) (-1, 0)] <1>
[ (1, 0.83903) (2, 0) (-1, 0)] <1>
[ (1, 0.86604) (2, 0) (-1, 0)] <1>
[ (1, 1) (2, 0) (-1, 0)] <1>
[ (1, 0.77988) (2, 0) (-1, 0)] <1>
[ (1, 0.8578) (2, 0) (-1, 0)] <1>
[ (1, 0.79559) (2, 0) (-1, 0)] <1>
[ (1, 0.99545) (2, 0) (-1, 0)] <1>
[ (1, 0.78376) (2, 0) (-1, 0)] <1>
[ (1, 0.72177) (2, 0) (-1, 0)] <1>
[ (1, 0.72619) (2, 0) (-1, 0)] <1>
[ (1, 0.80149) (2, 0) (-1, 0)] <1>
[ (1, 0.092327) (2, -1) (-1, 0)] <2>
[ (1, 0.019054) (2, -1) (-1, 0)] <2>
[ (1, 0.15287) (2, -1) (-1, 0)] <2>
[ (1, -0.1471) (2, -1) (-1, 0)] <2>
[ (1, -0.068182) (2, -1) (-1, 0)] <2>
[ (1, -0.094567) (2, -1) (-1, 0)] <2>
[ (1, -0.17071) (2, -1) (-1, 0)] <2>
[ (1, -0.16646) (2, -1) (-1, 0)] <2>
[ (1, -0.030421) (2, -1) (-1, 0)] <2>
[ (1, 0.094346) (2, -1) (-1, 0)] <2>
[ (1, -0.14408) (2, -1) (-1, 0)] <2>
[ (1, 0.090025) (2, -1) (-1, 0)] <2>
[ (1, 0.043706) (2, -1) (-1, 0)] <2>
[ (1, 0.15065) (2, -1) (-1, 0)] <2>
[ (1, -0.11751) (2, -1) (-1, 0)] <2>
[ (1, -0.02324) (2, 1) (-1, 0)] <2>
[ (1, 0.0080356) (2, 1) (-1, 0)] <2>
[ (1, -0.17752) (2, 1) (-1, 0)] <2>
[ (1, 0.011135) (2, 1) (-1, 0)] <2>
[ (1, -0.029063) (2, 1) (-1, 0)] <2>
[ (1, 0.15398) (2, 1) (-1, 0)] <2>
[ (1, 0.097746) (2, 1) (-1, 0)] <2>
[ (1, 0.01018) (2, 1) (-1, 0)] <2>
[ (1, 0.015592) (2, 1) (-1, 0)] <2>
[ (1, -0.062793) (2, 1) (-1, 0)] <2>
[ (1, 0.014444) (2, 1) (-1, 0)] <2>
[ (1, -0.1205) (2, 1) (-1, 0)] <2>
[ (1, -0.18011) (2, 1) (-1, 0)] <2>
[ (1, 0.010521) (2, 1) (-1, 0)] <2>
[ (1, 0.036914) (2, 1) (-1, 0)] <2>

ここでは、データは [ (インデックス、値)...] ラベルの形式で出力されます。

私が作成した人工データセットには 3 つのクラスしかありません。これらはすべて、非線形決定境界で簡単に分離できます。各行は、2 つの特徴 (x 座標、y 座標) を持つ特徴ベクトル (観察) です。libsvm は各ベクターを -1 ラベルで終了するように要求するので、そうします。

EDIT2：

この編集は、トレーニングに使用される C 値とガンマ値、およびデータスケーリングに関連しています。私は通常、0と1の間のデータを取得します（ここで提案されているように：http://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf）。この偽のデータセットもスケーリングして再試行しますが、これとまったく同じデータセットを libsvm の MATLAB 実装で使用したため、このスケーリングされていないデータを 100% の精度で分離できました。

C とガンマについても、ガイドで推奨されている値を使用します。2 つのベクトルを作成し、二重にネストされたループを使用してすべての組み合わせを試します。

std::vector<double> CList, GList;
double baseNum = 2.0;
for(double j = -5; j <= 15; j += 2) //-5 and 15
    CList.push_back(pow(baseNum,j));
for(double j = -15; j <= 3; j += 2) //-15 and 3
    GList.push_back(pow(baseNum,j));

ループは次のようになります。

    for(auto CIt = CList.begin(); CIt != CList.end(); ++CIt) //for all C's
    {
        double C = *CIt;
        for(auto GIt = GList.begin(); GIt != GList.end(); ++GIt) //for all gamma's
        {
            double gamma = *GIt;
            svmParams.svmType = C_SVC;
            svmParams.kernalType = RBF;
            svmParams.C = C;
            svmParams.gamma = gamma;

        ......training code etc..........

EDIT3：

MATLABを参考にし続けているので、精度の違いを示します。以下は、libsvm が生成する精度のヒートマップです。

libsvm c++

そして、同じパラメーターと同じ C/ガンマグリッドを使用して MATLAB が生成する精度マップを次に示します。

libsvm MATLAB

C/ガンマリストの生成に使用されるコードと、トレーニング方法は次のとおりです。

CList = 2.^(-15:2:15);%(-5:2:15);
GList = 2.^(-15:2:15);%(-15:2:3);
cmd = ['-q -s 0 -t 2 -c ', num2str(C), ' -g ', num2str(gamma)];
model = ovrtrain(yTrain,xTrain,cmd);

EDIT4

健全性チェックとして、libsvm の Unix/Linux ターミナル API で使用されるデータセットに準拠するように、偽のスケーリングされたデータセットを再フォーマットしました。MATLAB 精度マップにある C/Gamma を使用してトレーニングと予測を行いました。予測精度は 100% でした。したがって、私は C++ の実装で絶対に間違ったことをしています。

EDIT5

Linux ターミナルからトレーニングしたモデルを C++ ラッパークラスにロードしました。次に、トレーニングに使用したのとまったく同じデータセットを予測してみました。C++ での精度は依然としてひどいものでした。ただし、問題の原因を絞り込むことに非常に近づいています。MATLAB/Linux の両方が 100% の精度に関して一致しており、それが生成するモデルがトレーニングに使用された同じデータセットで 100% の精度をもたらすことが既に証明されている場合、私の C++ ラッパークラスは検証済みのモデルでパフォーマンスが低下しています。 .. 3 つの状況が考えられます。

cv::Mats を予測に必要な svm_node* に変換するために使用する方法には、問題があります。
ラベルを予測するために使用する方法には問題があります。
2と3の両方！

ここで実際に調べるコードは、svm_node の作成方法です。ここに再びあります：

svm_node** LibSVM::createNode(INPUT const cv::Mat& data)
{
    const int rowSize = data.rows;
    const int colSize = data.cols;

    //dynamically allocate the X matrix...
    svm_node** x = new svm_node*[rowSize];
    if(x == NULL)
        throw MLInterfaceException("Could not allocate SVM Node Array.");

    for(int row = 0; row < rowSize; ++row)
    {
        x[row] = new svm_node[colSize + 1]; //+1 here for the index-terminating -1
        if(x[row] == NULL)
            throw MLInterfaceException("Could not allocate SVM Node.");
    }

    for(int row = 0; row < rowSize; ++row)
    {
        for(int col = 0; col < colSize; ++col)
        {
            double tempVal = data.at<double>(row,col);
            x[row][col].value = tempVal;
        }

        x[row][colSize].index = -1;
        x[row][colSize].value = 0;
    }

    return x;
} /*createNode()*/

そして予測：

cv::Mat LibSVM::predict(INPUT const cv::Mat& data)
{
    if(this->_svmModel == NULL)
        throw MLInterfaceException("Cannot predict; no model has been trained or loaded.");

    cv::Mat predMat;

    //create the libsvm representation of data
    svm_node** x = this->createNode(data);

    //perform prediction for each feature vector
    for(int i = 0; i < data.rows; ++i)
    {
        double pred = svm_predict(this->_svmModel, x[i]);
        predMat.push_back<double>(pred);
    }        

    //delete all rows and columns of x
    for(int i = 0; i < data.rows; ++i)
        delete[] x[i];
    delete[] x;


    return predMat;
}

EDIT6：

自宅でチューニングしている方のために、モデルを (MATLAB で見つかった最適な C/ガンマを使用して) C++ でトレーニングし、ファイルに保存してから、Linux ターミナルを介してトレーニングデータの予測を試みました。それは 100% を獲得しました。私の予測には何かが間違っています。o_0

EDIT7：

私はついに問題を見つけました。それを見つけるには、バグ追跡が非常に役立ちました。予測に使用される svm_node** 2D 配列の内容を出力しました。これは createProblem() メソッドのサブセットでした。新しい関数にコピーして貼り付けるのに失敗した部分がありました。これは、特定の機能のインデックスでした。それは決して書かれていませんでした。もう1行あるはずです：

x[row][col].index = col + 1; //indexing starts at 1

そして、予測は現在うまく機能しています。

score 3 · Accepted Answer

データは正規化されていないため、大きな違いが生じるため、ガンマ値を確認すると便利です。

libsvm のガンマは超球半径に反比例するため、これらの球が入力範囲に対して小さすぎる場合、すべてが常にアクティブになり、モデルは常に同じ値を出力します。

したがって、2 つの推奨事項は次のようになります。1) 入力値を [-1,1] の範囲にスケーリングします。2) ガンマ値をいじる。

c++ - libsvm (C++) 常に同じ予測を出力する

1 に答える 1

Related

Reference