0

数日前に質問をしましたが、少し複雑すぎたようで、回答が得られるとは思っていません。

私の問題は、分類に ANN を使用する必要があることです。私は、はるかに優れたコスト関数（または一部の本が指定する損失関数）がクロスエントロピーであることを読みましたJ(w) = -1/m * sum_i( yi*ln(hw(xi)) + (1-yi)*ln(1 - hw(xi)) )。i番号を示します。トレーニング マトリックスからのデータX。MATLABに適用しようとしましたが、本当に難しいと思います。私が知らないことがいくつかあります：

  • すべてのトレーニング データを指定して各出力を合計する必要があります (i = 1、... N、N はトレーニング用の入力の数)。
  • 勾配は正しく計算されていますか
  • 正しく計算された数値勾配 (gradAapprox) です。

次の MATLAB コードがあります。些細なことを尋ねるかもしれませんが、とにかく誰かが問題を見つける方法の手がかりを教えてくれることを願っています. 問題は勾配を計算することだと思います。

どうもありがとう。

メインスクリプト:

close all
clear all

L = @(x) (1 + exp(-x)).^(-1);
NN = @(x,theta) theta{2}*[ones(1,size(x,1));L(theta{1}*[ones(size(x,1),1) x]')];

% theta = [10 -30 -30];
x = [0 0; 0 1; 1 0; 1 1];
y = [0.9 0.1 0.1 0.1]';

theta0 = 2*rand(9,1)-1;
options = optimset('gradObj','on','Display','iter');
thetaVec = fminunc(@costFunction,theta0,options,x,y);
theta = cell(2,1);
theta{1} = reshape(thetaVec(1:6),[2 3]);
theta{2} = reshape(thetaVec(7:9),[1 3]);

NN(x,theta)'

コスト関数:

function [jVal,gradVal,gradApprox] = costFunction(thetaVec,x,y)
persistent index;

%     1 x x
%     1 x x
%     1 x x
% x = 1 x x
%     1 x x
%     1 x x
%     1 x x

m = size(x,1);

if isempty(index) || index > size(x,1)
    index = 1;
end

L = @(x) (1 + exp(-x)).^(-1);
NN = @(x,theta) theta{2}*[ones(1,size(x,1));L(theta{1}*[ones(size(x,1),1) x]')];

theta = cell(2,1);
theta{1} = reshape(thetaVec(1:6),[2 3]);
theta{2} = reshape(thetaVec(7:9),[1 3]);
Dew = cell(2,1);
DewApprox = cell(2,1);

% Forward propagation
a0 = x(index,:)';
z1 = theta{1}*[1;a0];
a1 = L(z1);
z2 = theta{2}*[1;a1];
a2 = L(z2);

% Back propagation
d2 = 1/m*(a2 - y(index))*L(z2)*(1-L(z2));
Dew{2} = [1;a1]*d2;
d1 = [1;a1].*(1 - [1;a1]).*theta{2}'*d2;
Dew{1} = [1;a0]*d1(2:end)';

% NNRes = NN(x,theta)';
% jVal = -1/m*sum(NNRes-y)*NNRes*(1-NNRes);
jVal = -1/m*(a2 - y(index))*a2*(1-a2);
gradVal = [Dew{1}(:);Dew{2}(:)];

gradApprox = CalcGradApprox(0.0001);

index = index + 1;

function output = CalcGradApprox(epsilon)
    output = zeros(size(gradVal));
    for n=1:length(thetaVec)
        thetaVecMin = thetaVec;
        thetaVecMax = thetaVec;
        thetaVecMin(n) = thetaVec(n) - epsilon;
        thetaVecMax(n) = thetaVec(n) + epsilon;

        thetaMin = cell(2,1);
        thetaMax = cell(2,1);
        thetaMin{1} = reshape(thetaVecMin(1:6),[2 3]);
        thetaMin{2} = reshape(thetaVecMin(7:9),[1 3]);
        thetaMax{1} = reshape(thetaVecMax(1:6),[2 3]);
        thetaMax{2} = reshape(thetaVecMax(7:9),[1 3]);

        a2min = NN(x(index,:),thetaMin)';
        a2max = NN(x(index,:),thetaMax)';
        jValMin = -1/m*(a2min-y(index))*a2min*(1-a2min);
        jValMax = -1/m*(a2max-y(index))*a2max*(1-a2max);
        output(n) = (jValMax - jValMin)/2/epsilon;
    end
end
end

編集:以下に、興味のある人のために私の costFunction の正しいバージョンを示します。

function [jVal,gradVal,gradApprox] = costFunction(thetaVec,x,y)
    m = size(x,1);

    L = @(x) (1 + exp(-x)).^(-1);
    NN = @(x,theta) L(theta{2}*[ones(1,size(x,1));L(theta{1}*[ones(size(x,1),1) x]')]);

    theta = cell(2,1);
    theta{1} = reshape(thetaVec(1:6),[2 3]);
    theta{2} = reshape(thetaVec(7:9),[1 3]);
    Delta = cell(2,1);
    Delta{1} = zeros(size(theta{1}));
    Delta{2} = zeros(size(theta{2}));
    D = cell(2,1);
    D{1} = zeros(size(theta{1}));
    D{2} = zeros(size(theta{2}));
    jVal = 0;

    for in = 1:size(x,1)
        % Forward propagation
        a1 = [1;x(in,:)']; % added bias to a0
        z2 = theta{1}*a1;
        a2 = [1;L(z2)]; % added bias to a1
        z3 = theta{2}*a2;
        a3 = L(z3);
        % Back propagation
        d3 = a3 - y(in);
        d2 = theta{2}'*d3.*a2.*(1 - a2);
        Delta{2} = Delta{2} + d3*a2';
        Delta{1} = Delta{1} + d2(2:end)*a1';
        jVal = jVal + sum(  y(in)*log(a3) + (1-y(in))*log(1-a3)  );
    end
    D{1} = 1/m*Delta{1};
    D{2} = 1/m*Delta{2};

    jVal = -1/m*jVal;
    gradVal = [D{1}(:);D{2}(:)];
    gradApprox = CalcGradApprox(x(in,:),0.0001);



    % Nested function to calculate gradApprox
    function output = CalcGradApprox(x,epsilon)
        output = zeros(size(thetaVec));
        for n=1:length(thetaVec)
            thetaVecMin = thetaVec;
            thetaVecMax = thetaVec;
            thetaVecMin(n) = thetaVec(n) - epsilon;
            thetaVecMax(n) = thetaVec(n) + epsilon;

            thetaMin = cell(2,1);
            thetaMax = cell(2,1);
            thetaMin{1} = reshape(thetaVecMin(1:6),[2 3]);
            thetaMin{2} = reshape(thetaVecMin(7:9),[1 3]);
            thetaMax{1} = reshape(thetaVecMax(1:6),[2 3]);
            thetaMax{2} = reshape(thetaVecMax(7:9),[1 3]);

            a3min = NN(x,thetaMin)';
            a3max = NN(x,thetaMax)';
            jValMin = 0;
            jValMax = 0;
            for inn=1:size(x,1)
                jValMin = jValMin + sum(  y(inn)*log(a3min) + (1-y(inn))*log(1-a3min)  );
                jValMax = jValMax + sum(  y(inn)*log(a3max) + (1-y(inn))*log(1-a3max)  );
            end
            jValMin = 1/m*jValMin;
            jValMax = 1/m*jValMax;
            output(n) = (jValMax - jValMin)/2/epsilon;
        end
    end
end
4

1 に答える 1

1

私はあなたのコードにちょっと目を向けただけです。ここにいくつかの指針があります。

Q1

すべてのトレーニング データを指定して各出力を合計する必要があります (i = 1、... N、N はトレーニング用の入力の数)。

コスト関数に関連して話している場合は、比較を提供するためにトレーニング例の数で合計して正規化するのが普通です。

答えを変えるベクトル化された実装があるかどうか、コードからはわかりません。このsum関数は一度に 1 つの次元のみを合計することに注意してください。つまり、(M x N) 配列がある場合、sum は 1 x N 配列になります。

コスト関数にはスカラー出力が必要です。

Q2

勾配は正しく計算されていますか

勾配が正しく計算されていません。具体的には、デルタが正しく見えません。Andrew Ng のノート[PDF] に従ってみてください 。非常に優れています。

Q3

正しく計算された数値勾配 (gradAapprox) です。

この行は少し疑わしいようです。これはもっと理にかなっていますか？

output(n) = (jValMax - jValMin)/(2*epsilon);

編集:実際には、勾配近似の表と裏を作成できません。勾配を計算するには、パラメーターで順方向伝搬と小さな微調整のみを使用する必要があります。幸運を！

于 2013-09-30T14:15:09.310 に答える