backpropagation - ショートカット接続を使用したニューラル ネットワークの逆伝播アルゴリズム

Question

現在、F# で多層パーセプトロンを実装しており、標準の逆伝播アルゴリズムを実装する予定ですが、ショートカット接続を処理するためにアルゴリズムをどのように変更する必要があるか疑問に思っています。ショートカット接続とは、レイヤーをスキップする接続、たとえば、入力レイヤーを直接出力レイヤーに接続する接続を意味します。

ありがとう！

Answer 1

nn に近道がなく、それが標準のフィード フォワードである場合、すべての入力がすべてのレイヤーを通過し、パスの長さが同じであることを意味します。段階的に、レイヤーを重ねてから、元に戻してウェイトを調整できます。あなたはおそらくそれを知っているのに、なぜ私はこれを言っているのですか？

ショートカットでのNNへのアプローチはほぼ同じになるからです...ほぼ。レイヤーごとに移動してから戻ってきます。しかし、大きな違いは、1 つのニューロンが 2 つの層に存在することです。

もっと複雑に言えば、2 つの層で並列にある 1 つのニューロンの操作の順序に何らかの違いがあることは確かです。フィード フォワードとバック プロパゲーションの両方。

したがって、答えは正確ではありません。レイヤーでの計算順序を処理するアルゴリズムを開発する必要があります。私が想像できる最も簡単な解決策は、いつものように行くことです。層ごとに層 (このアルゴリズムでは、1 つのニューロンが 1 サイクルで何度も到達します)。