5

アルゴリズムに PCA を追加することで、kaggle 数字認識チュートリアルの SKlearn kNN 予測スコアを %96.5 改善するために取り組んでいますが、PCA 出力に基づく新しい kNN 予測は 23% ほどひどいものです。

以下は完全なコードです。どこが間違っているかを指摘していただければ幸いです。

import pandas as pd
import numpy as np
import pylab as pl
import os as os
from sklearn import metrics
%pylab inline
os.chdir("/users/******/desktop/python")

traindata=pd.read_csv("train.csv")
traindata=np.array(traindata)
traindata=traindata.astype(float)
X,y=traindata[:,1:],traindata[:,0]

from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test= train_test_split(X,y,test_size=0.25, random_state=33)

#scale & PCA train data
from sklearn import preprocessing
from sklearn.decomposition import PCA
X_train_scaled = preprocessing.scale(X_train)
estimator = PCA(n_components=350)
X_train_pca = estimator.fit_transform(X_train_scaled)

# sum(estimator.explained_variance_ratio_) = 0.96

from sklearn.neighbors import KNeighborsClassifier
neigh = KNeighborsClassifier(n_neighbors=6)
neigh.fit(X_train_pca,y_train)

# scale & PCA test data
X_test_scaled=preprocessing.scale(X_test)
X_test_pca=estimator.fit_transform(X_test_scaled)

y_test_pred=neigh.predict(X_test_pca)
# print metrics.accuracy_score(y_test, y_test_pred) = 0.23
# print metrics.classification_report(y_test, y_test_pred)
4

2 に答える 2

19

テスト データを処理しているときに、テスト データに対してfit_transform(X_test)別の PCA 変換を実際に再計算するものを使用しました。transform(X_test)テスト データがトレーニング データと同じ変換を受けるように、を使用する必要があります。

コードの一部は次のようになります (ヒントを提供してくれた ogrisel に感謝しwhitenます)。

estimator = PCA(n_components=350, whiten=True)
X_train_pca = estimator.fit_transform(X_train)
X_test_pca = estimator.transform(X_test)

試してみて、それが役立つかどうかを確認してください。

于 2014-01-24T11:42:38.350 に答える