0

私は、他のデータセットで動作するように見える、分類する 3 層の人工ニューラル ネットワークをまとめました。私が作成したいくつかの人工的なデータセットをいじってみると、1 つのクラスが 1 つの機能または別の機能で陽性である場合、2 つのクラス間で正しく予測できませんでした。

明らかに、クラス 1 は、機能 1 または機能 2 が 1 に等しいかどうかを尋ねることで識別できますが、データセットを正しく予測するアルゴリズムを取得できません (データセットには、このパターンに続く 20 の例があります)。

ANN/MLP はこのタイプのパターンを認識できますか? もしそうなら、私は何が欠けていますか? そうでない場合、このタイプのパターン (おそらく SVM) を予測できる他の方法はありますか?

coursera が提供するオンライン コースで使用されていた Octave を使用しました。ここにコードのほとんどをリストしましたが、実行すると構造が少し異なります。ご覧のとおり、1 番目と 2 番目のレイヤーでバイアス ユニットを使用しています。また、2 番目のレイヤーの隠れユニットの数を 1 ～ 5 に変更しましたが、ランダムな推測よりも改善されていません。

% Load dataset
y = [1; 1; 2; 2]
X = [1, 0; 0, 1; 0, 0; 0, 0]
m = size(X, 1);    
Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), hidden_layer_size, (input_layer_size + 1));
Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), num_labels, (hidden_layer_size + 1));

% Randomly initialize weight parameters
initial_Theta1 = randInitializeWeights(input_layer_size, hidden_layer_size);
initial_Theta2 = randInitializeWeights(hidden_layer_size, num_labels);
initial_nn_params = [initial_Theta1(:) ; initial_Theta2(:)];

% Add bias units to layers and feedforward
Xbias = [ones(m,1), X];
L2bias = [ones(m,1), sigmoid(Xbias*Theta1')];
L3 = sigmoid(L2bias * Theta2');

% Create class matrix Y
Y = zeros(m, num_labels);
for r = 1:m;
    Y(r, y(r)) = 1;
end

% Set cost function
J = (sum(sum(Y.*log(L3) + (1-Y).*log(1-L3))))/-m + lambda*(sum(sum((Theta1(:,2:columns(Theta1))).^2)) + sum(sum((Theta2(:,2:columns(Theta2))).^2)))/2/m;
% Initialize weight gradient matrices
D2 = zeros(rows(Theta2),columns(Theta2));
D1 = zeros(rows(Theta1),columns(Theta1));

% Calculate gradient with backpropagation
for t = 1:m;
    a1 = [1 X(t,:)]';
    z2 = Theta1*a1;
    a2 = [1; sigmoid(z2)];
    z3 = Theta2*a2;
    a3 = sigmoid(z3);
    d3 = a3 - Y(t,:)';
    d2 = (Theta2'*d3)(2:end).*sigmoidGradient(z2);
    D2 = D2 + d3*a2';
    D1 = D1 + d2*a1';
end

Theta2_grad = D2/m;
Theta1_grad = D1/m;

Theta2_grad(:,2:end) = Theta2_grad(:,2:end) + lambda*Theta2(:,2:end)/m;
Theta1_grad(:,2:end) = Theta1_grad(:,2:end) + lambda*Theta1(:,2:end)/m;

% Unroll gradients
grad = [Theta1_grad(:) ; Theta2_grad(:)];

% Compute cost (Feed forward)
[J,grad] = nnCostFunction(initial_nn_params, input_layer_size, hidden_layer_size, num_labels, X, y, lambda);

% Create "short hand" for the cost function to be minimized using fmincg
costFunction = @(p) nnCostFunction(p, input_layer_size, hidden_layer_size, num_labels, X, y, lambda);

% Train the neural network using fmincg
options = optimset('MaxIter', 1000);
[nn_params, cost] = fmincg(costFunction, initial_nn_params, options);

% Obtain Theta1 and Theta2 back from nn_params
Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), hidden_layer_size, (input_layer_size + 1));
Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), num_labels, (hidden_layer_size + 1));
4

1 に答える 1

0

NN はあらゆるパターンを認識できます。普遍近似定理は、(他の多くの定理と同様に) それを証明しています。

私が考えることができる最も明白な理由は、バイアスニューロンの欠如です。より価値のある回答を得るには、コードを含める必要があります。

于 2014-01-08T21:26:11.703 に答える