machine-learning - RNN (Recurrent Neural Network) は通常のニューラル ネットワークとしてトレーニングできますか?

Question

RNN と単純なニューラル ネットワークのトレーニングの違いは何ですか? RNN はフィード フォワードおよびバックワード メソッドを使用してトレーニングできますか?

よろしくお願いします！

Answer 1

違いは再発. したがって、勾配を計算しようとしているかのように RNN を簡単にトレーニングすることはできません。n 番目のステップで勾配を取得するには、n-1 前のステップのネットワーク履歴を実際に「展開」する必要があることがすぐにわかります。BPTT (バックプロパゲーション スルー タイム) として知られるこの手法は、まさにこれであり、バックプロパゲーションを RNN に直接適用したものです。残念ながら、これは計算コストが高く、数学的にも困難です (勾配の消失/爆発のため)。たとえば、効率的にトレーニングできる特定のタイプの RNN (LSTM、GRU) の導入、またはトレーニング手順の変更 (勾配クランプなど) によって、人々はさまざまなレベルで回避策を作成しています。要約すると、理論的には、数学的な意味で「典型的な」バックプロップを行うことができます。プログラミングの観点から - 履歴を通じてネットワークを「展開」する必要があるため、これにはより多くの作業が必要です。これは計算コストが高く、数学的な意味での最適化が困難です。