私はMNISTの数字認識データセットをいじっていましたが、ちょっと行き詰まっています。私はいくつかの研究論文を読み、理解したすべてを実装しました。基本的に私が行ったことは、最初に分類器を評価するためのトレーニング セットと交差検証セットを作成し、次にテスト セットとトレーニング セットの両方で PCA を実行し、その後、KNN と SVM を使用して分類タスクを実行することでした。私が直面している主な問題は、すべてのセットで PCA を実行してから、トレーニング セットと交差検証セットを分離するか、それらを分離してから、交差検証テストとトレーニング セットで個別に PCA を実行する必要があるかということです。両方のシナリオを試したので、すでに試したことを質問して申し訳ありません。最初のケースでは、私の分類子は見事に機能します。PCA は結果を微調整する主成分を作成する際にテスト データ セットを使用すると推測し、おそらくこれがモデルのバイアスの原因であると思いますが、それ以外の場合、パフォーマンスは約 20% から 30% であり、非常に低いです。そのため、モデルをどのように改良すればよいのか、ちょっと困っています。ヘルプとガイダンスは大歓迎です。参照用にコードを以下に貼り付けました。
library(ggplot2)
library(e1071)
library(ElemStatLearn)
library(plyr)
library(class)
import.csv <- function(filename){
return(read.csv(filename, sep = ",", header = TRUE, stringsAsFactors = FALSE))
}
train.data <- import.csv("train.csv")
test.data <- train.data[30001:32000,]
train.data <- train.data[1:6000,]
#Performing PCA on the dataset to reduce the dimensionality of the data
get_PCA <- function(dataset){
dataset.features <- dataset[,!(colnames(dataset) %in% c("label"))]
features.unit.variance <- names(dataset[, sapply(dataset, function(v) var(v, na.rm=TRUE)==0)])
dataset.features <- dataset[,!(colnames(dataset) %in% features.unit.variance)]
pr.comp <- prcomp(dataset.features, retx = T, center = T, scale = T)
#finding the total variance contained in the principal components
prin_comp <- summary(pr.comp)
prin_comp.sdev <- data.frame(prin_comp$sdev)
#print(paste0("%age of variance contained = ", sum(prin_comp.sdev[1:500,])/sum(prin_comp.sdev)))
screeplot(pr.comp, type = "lines", main = "Principal Components")
num.of.comp = 50
red.dataset <- prin_comp$x
red.dataset <- red.dataset[,1:num.of.comp]
red.dataset <- data.frame(red.dataset)
return(red.dataset)
}
#Perform k-fold cross validation
do_cv_class <- function(df, k, classifier){
num_of_nn = gsub("[^[:digit:]]","",classifier)
classifier = gsub("[[:digit:]]","",classifier)
if(num_of_nn == "")
{
classifier = c("get_pred_",classifier)
}
else
{
classifier = c("get_pred_k",classifier)
num_of_nn = as.numeric(num_of_nn)
}
classifier = paste(classifier,collapse = "")
func_name <- classifier
output = vector()
size_distr = c()
n = nrow(df)
for(i in 1:n)
{
a = 1 + (((i-1) * n)%/%k)
b = ((i*n)%/%k)
size_distr = append(size_distr, b - a + 1)
}
row_num = 1:n
sampling = list()
for(i in 1:k)
{
s = sample(row_num,size_distr)
sampling[[i]] = s
row_num = setdiff(row_num,s)
}
prediction.df = data.frame()
outcome.list = list()
for(i in 1:k)
{
testSample = sampling[[i]]
train_set = df[-testSample,]
test_set = df[testSample,]
if(num_of_nn == "")
{
classifier = match.fun(classifier)
result = classifier(train_set,test_set)
confusion.matrix <- table(pred = result, true = test_set$label)
accuracy <- sum(diag(confusion.matrix)*100)/sum(confusion.matrix)
print(confusion.matrix)
outcome <- list(sample_ID = i, Accuracy = accuracy)
outcome.list <- rbind(outcome.list, outcome)
}
else
{
classifier = match.fun(classifier)
result = classifier(train_set,test_set)
print(class(result))
confusion.matrix <- table(pred = result, true = test_set$label)
accuracy <- sum(diag(confusion.matrix)*100)/sum(confusion.matrix)
print(confusion.matrix)
outcome <- list(sample_ID = i, Accuracy = accuracy)
outcome.list <- rbind(outcome.list, outcome)
}
}
return(outcome.list)
}
#Support Vector Machines with linear kernel
get_pred_svm <- function(train, test){
digit.class.train <- as.factor(train$label)
train.features <- train[,-train$label]
test.features <- test[,-test$label]
svm.model <- svm(train.features, digit.class.train, cost = 10, gamma = 0.0001, kernel = "radial")
svm.pred <- predict(svm.model, test.features)
return(svm.pred)
}
#KNN model
get_pred_knn <- function(train,test){
digit.class.train <- as.factor(train$label)
train.features <- train[,!colnames(train) %in% "label"]
test.features <- test[,!colnames(train) %in% "label"]
knn.model <- knn(train.features, test.features, digit.class.train)
return(knn.model)
}
================================================== ======================