互いに非線形に関連する 4 つの数値入力があります。私たちの目的は、逆伝播モデルを使用して出力を予測することです。私たちがイメージしているシナリオは次のとおりです。
私たちの知識によると（完全な理解はありません）、任意のニューロンの出力（Y）を計算するための式を検討しています。
Y = w1 * X1 + w2 * X2 + w3 * X3 + w4 * X4 ?
ここで、
Y は出力 X は入力 (X1、X2、X3、X4) w は重み
したがって、出力レイヤーで、出力 (Y) が予想と異なる場合、エラー修正を使用して重みを変更します。
非線形データセットには特定の出力関数 (仮説関数) が必要ですか? または上記の機能は使用できますか？
数学で考えるには良い方法ですが、上に挙げた式には同意できません。
隠れニューロン 1 (HN1) の場合、その入力 (inputHN1) は
w11*X1 + w21*X2 + w31*X3 + w41*X4; 出力は
f(inputHN1)です。f()非線形関数である可能性があることに注意してください（線形でもあります）。
単に HN2 の場合、f(inputHN2)
Y = beta1*f(inputHN1) + beta2*f(inputHN2)
MLP の重み (w とベータ) は逆伝播によってトレーニングされます。
f()が非線形の場合、非線形関数をモデル化するのに最適であることがわかります。
もちろん、f()が線形の場合、線形関数の適切な近似しか得られません。
何をモデル化しようとしているのかについての予備知識があれば、仮説は常に役に立ちます。たとえば、最初の順序の代わりに、X1X2、X1^2 などの 2 番目の順序を持つことができます。