machine-learning - ニューラル ネットワーク ミニ バッチ勾配降下法

Question

私は多層ニューラルネットワークを扱っています。ミニバッチ勾配降下を行うつもりです。100 万を超えるデータ ポイントの 100 のミニバッチがあるとします。ネットワーク全体の重みを更新しなければならない部分がわかりません。これらの 100 個のサンプルに対してフォワード パスを実行すると、これらの 100 個のサンプルのすべてのエラーが合計されます。これ以外に何をすればいいですか？隠れ層のエラーも並べて計算する必要がありますか? それらはいつ計算されますか？

Answer 1

ニューラル ネットワークでのバッチ学習

(選択した) データセットの各データ インスタンスについて、ネットワーク内のすべてのレイヤーの各ニューロンの重みデルタを計算する必要があります。これは、バックプロパゲーションの場合と同じ手順です。

バッチ学習を使用したいので、重みの更新ステップを遅らせます。代わりに、これらのデルタを保存し、バッチの完了後にバッチ内のさまざまなインスタンスからのデルタを合計する必要があります。次に、これらの新しく操作されたデルタを使用して、ネットワークの重みを更新します。