2

これらのメモに基づいて、Matlab でバックプロパゲーション アルゴリズムをコーディングしました: http://dl.dropbox.com/u/7412214/BackPropagation.pdf

私のネットワークは、長さ 43 の入力/特徴ベクトルを取り、隠れ層に 20 個のノード (変更可能な任意のパラメーターの選択) を持ち、単一の出力ノードを持ちます。43 個の特徴を取り、0 から 100 までの単一の値を出力するようにネットワークをトレーニングしたいと考えています。入力データはゼロ平均と単位標準偏差に正規化され (z = x - 平均 / 標準偏差を介して)、「1バイアスを表すベクトルを入力する項。私の targetValues は、0 から 100 までの単一の数値です。

私のコードの関連部分は次のとおりです。

(慣例により、層 I (i) は入力層を指し、J (j) は隠れ層を指し、K (k) は出力層を指します。この場合、単一ノードです。)

for train=1:numItrs
        for iterator=1:numTrainingSets

            %%%%%%%% FORWARD PROPAGATION %%%%%%%%

            % Grab the inputs, which are rows of the inputFeatures matrix
            InputLayer = inputFeatures(iterator, :)'; %don't forget to turn into column 
            % Calculate the hidden layer outputs: 
            HiddenLayer = sigmoidVector(WeightMatrixIJ' * InputLayer); 
            % Now the output layer outputs:
            OutputLayer = sigmoidVector(WeightMatrixJK' * HiddenLayer);

            %%%%%%% Debug stuff %%%%%%%% (for single valued output)
            if (mod(train+iterator, 100) == 0)
               str = strcat('Output value: ', num2str(OutputLayer), ' | Test value: ', num2str(targetValues(iterator, :)')); 
               disp(str);
            end 




            %%%%%%%% BACKWARDS PROPAGATION %%%%%%%%

            % Propagate backwards for the hidden-output weights
            currentTargets = targetValues(iterator, :)'; %strip off the row, make it a column for easy subtraction
            OutputDelta = (OutputLayer - currentTargets) .* OutputLayer .* (1 - OutputLayer); 
            EnergyWeightDwJK = HiddenLayer * OutputDelta'; %outer product
            % Update this layer's weight matrix:
            WeightMatrixJK = WeightMatrixJK - epsilon*EnergyWeightDwJK; %does it element by element

            % Propagate backwards for the input-hidden weights
            HiddenDelta = HiddenLayer .* (1 - HiddenLayer) .* WeightMatrixJK*OutputDelta; 
            EnergyWeightDwIJ = InputLayer * HiddenDelta'; 
            WeightMatrixIJ = WeightMatrixIJ - epsilon*EnergyWeightDwIJ; 

        end

    end

また、重み行列は次のように初期化されます。

WeightMatrixIJ = rand(numInputNeurons, numHiddenNeurons) - 0.5; 
WeightMatrixJK = rand(numHiddenNeurons, numOutputNeurons) - 0.5; 
%randoms b/w (-0.5, 0.5)

「sigmoidVector」関数は、ベクトル内のすべての要素を取り、適用しますy = 1 / (1 + exp(-x))。

コードの最初から、デバッグ メッセージは次のようになります。

Output value:0.99939 | Test value:20
Output value:0.99976 | Test value:20
Output value:0.99985 | Test value:20
Output value:0.99989 | Test value:55
Output value:0.99991 | Test value:65
Output value:0.99993 | Test value:62
Output value:0.99994 | Test value:20
Output value:0.99995 | Test value:20
Output value:0.99995 | Test value:20
Output value:0.99996 | Test value:20
Output value:0.99996 | Test value:20
Output value:0.99997 | Test value:92
Output value:0.99997 | Test value:20
Output value:0.99997 | Test value:20
Output value:0.99997 | Test value:20
Output value:0.99997 | Test value:20
Output value:0.99998 | Test value:20
Output value:0.99998 | Test value:20
Output value:0.99999 | Test value:20
Output value:0.99999 | Test value:20
Output value:1 | Test value:20
Output value:1 | Test value:62
Output value:1 | Test value:70
Output value:1 | Test value:77
Output value:1 | Test value:20
** stays saturated at 1 **

明らかに、出力値が 0 から 100 の間になるようにネットワークをトレーニングして、それらのターゲット値に一致させたいと考えています。

さらに情報が必要な場合は、できる限り提供します。

4

1 に答える 1

3

シグモイド関数は範囲 (0,1) に制限されているため、目標値に到達することはありません (それらはすべて 1 より大きいため)。ターゲット値もシグモイドの範囲内になるようにスケーリングする必要があります。ターゲット値が範囲 (0,100) に制限されていることがわかっているので、すべてを 100 で割ります。

于 2013-02-20T14:53:05.653 に答える