2

2 つの入力、4 つの非表示ノード (すべて同じレイヤー内)、および 1 つの出力ノードのニューラル ネットワークを教えようとしています。バイナリ表現は正常に機能しますが、バイポーラに問題があります。理由はわかりませんが、合計誤差が 2.xx あたりで同じ数値に収束することがあります。私のシグモイドは 2/(1+ exp(-x)) - 1 です。おそらく、間違った場所でシグモイドしているのでしょう。たとえば、出力エラーを計算するには、シグモイド出力を期待値と比較する必要がありますか、またはシグモイド期待値と比較する必要がありますか?

私はこのウェブサイトをフォローしていました: http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html、しかし、それらは異なる機能を使用し、使用するように指示されました。それらの機能を実装しようとしても、同じ問題に遭遇しました。いずれにせよ、同じ数 (実装ごとに異なる数) で約半分の時間スタックします。コードのどこかで間違いを犯したのか、それともこれが正常なのか教えてください (どうしてそうなるのかわかりません)。運動量が 0 に設定されています。これは一般的な運動量 0 の問題ですか? 使用するエラー関数は次のとおりです。

ui が出力単位の場合

Error(i) = (Ci - ui ) * f'(Si )

ui が隠しユニットの場合

Error(i) = Error(Output) * weight(i to output) * f'(Si)

public double sigmoid( double x ) {
    double fBipolar, fBinary, temp;
    temp = (1 + Math.exp(-x));
    fBipolar = (2 / temp) - 1;
    fBinary = 1 / temp;
    if(bipolar){
        return fBipolar;
    }else{
        return fBinary;
    }

}

// Initialize the weights to random values.
private void initializeWeights(double neg, double pos) { 
    for(int i = 0; i < numInputs + 1; i++){
        for(int j = 0; j < numHiddenNeurons; j++){
            inputWeights[i][j] = Math.random() - pos;
            if(inputWeights[i][j] < neg || inputWeights[i][j] > pos){
                print("ERROR ");
                print(inputWeights[i][j]);
            }
        }
    }
    for(int i = 0; i < numHiddenNeurons + 1; i++){
        hiddenWeights[i] = Math.random() - pos;
        if(hiddenWeights[i] < neg || hiddenWeights[i] > pos){
            print("ERROR ");
            print(hiddenWeights[i]);
        }
    }
}

// Computes output of the NN without training. I.e. a forward pass
public double outputFor ( double[] argInputVector ) { 
    for(int i = 0; i < numInputs; i++){
        inputs[i] = argInputVector[i];
    }
    double weightedSum = 0;
    for(int i = 0; i < numHiddenNeurons; i++){
        weightedSum = 0;
        for(int j = 0; j < numInputs + 1; j++){
            weightedSum += inputWeights[j][i] * inputs[j];
        }
        hiddenActivation[i] = sigmoid(weightedSum); 
    }

    weightedSum = 0;
    for(int j = 0; j < numHiddenNeurons + 1; j++){
        weightedSum += (hiddenActivation[j] * hiddenWeights[j]);
    }

    return sigmoid(weightedSum);
}

    //Computes the derivative of f
public static double fPrime(double u){
    double fBipolar, fBinary;
    fBipolar = 0.5 * (1 - Math.pow(u,2));
    fBinary = u * (1 - u);
    if(bipolar){
        return fBipolar;
    }else{
        return fBinary;
    }
}

// This method is used to update the weights of the neural net.
public double train ( double [] argInputVector, double argTargetOutput ){
    double output = outputFor(argInputVector);
    double lastDelta;

    double outputError = (argTargetOutput - output) * fPrime(output);

    if(outputError != 0){
        for(int i = 0; i < numHiddenNeurons + 1; i++){
            hiddenError[i] = hiddenWeights[i] * outputError * fPrime(hiddenActivation[i]);
            deltaHiddenWeights[i] = learningRate * outputError * hiddenActivation[i] + (momentum * lastDelta);
            hiddenWeights[i] += deltaHiddenWeights[i];
        }

        for(int in = 0; in < numInputs + 1; in++){
            for(int hid = 0; hid < numHiddenNeurons; hid++){
                lastDelta = deltaInputWeights[in][hid];
                deltaInputWeights[in][hid] = learningRate * hiddenError[hid] * inputs[in] + (momentum * lastDelta); 
                inputWeights[in][hid] += deltaInputWeights[in][hid];
            }
        }
    }

    return 0.5 * (argTargetOutput - output) * (argTargetOutput - output);
}
4

1 に答える 1

3

一般的なコーディング コメント:

initializeWeights(-1.0, 1.0);

期待していた初期値を実際に取得できない場合があります。

initializeWeights にはおそらく次のものが必要です。

inputWeights[i][j] = Math.random() * (pos - neg) + neg;
// ...
hiddenWeights[i] = (Math.random() * (pos - neg)) + neg;

それ以外の：

Math.random() - pos;

これが機能するように：

initializeWeights(0.0, 1.0);

-1.0 から 0.0 の間ではなく、0.0 から 1.0 の間の初期値が得られます。

lastDelta宣言される前に使用されます。

deltaHiddenWeights[i] = learningRate * outputError * hiddenActivation[i] + (momentum * lastDelta);

+ 1onnumInputs + 1とが必要かどうかはわかりませんnumHiddenNeurons + 1。

int の丸めに注意してください: 2.5 ではなく、5/2 = 2 です! 代わりに 5.0/2.0 を使用してください。一般に、出力が倍精度である必要がある場合は、コードに .0 を追加します。

最も重要なことは、NeuralNet を十分長くトレーニングしたかどうかです。

numInputs = 2、numHiddenNeurons = 4、learningRate = 0.9 で実行し、1,000 回または 10,000 回トレーニングしてみてください。

numHiddenNeurons = 2 を使用すると、XOR 問題を解決しようとすると「スタック」することがあります。

XOR 問題 - シミュレーションも参照

于 2010-11-16T08:53:00.797 に答える