neural-network - ニューラルネットワークのどこにドロップアウトを追加しますか?

Question

ニューラル ネットワークのさまざまな部分でのドロップアウトに関する説明を見てきました。

1. 重み行列のドロップアウト、

2. 行列乗算の後、relu の前の隠れ層でのドロップアウト、

3. reluの後の隠れ層でのドロップアウト、

4. ソフトマックス関数の前の出力スコアのドロップアウト

ドロップアウトをどこで行うべきかについて少し混乱しています。誰かがそれについて詳しく説明するのを手伝ってもらえますか? ありがとう！

Answer 1

そう：

1. あなたが説明した最初の使用法は、 weights のドロップアウトと呼ばれます。
2. あなたが説明した 2 番目と 3 番目の使用法は同じであり、一般的にアクティベーションのドロップアウトとして説明されています。行全体 (または実装によっては列) がオフになっている場合、重みのドロップアウトの観点から表現される可能性があることに簡単に気付くかもしれません。
3. 4番目のケースでは、ドロップアウトの適切な使用法ではありません-ドロップアウトを使用したいレイヤーは出力レイヤーです-そこでドロップアウトを使用するのは最善の考えではありません.