machine-learning - Convolutional Neural Network でネットワークの深さを動的に見つける方法

Question

データとコンピューターの構成に応じて、ネットワークに適用するレイヤーの数を自動的に決定する方法を探していました。ウェブで検索しましたが、何も見つかりませんでした。私のキーワードや探し方が間違っているのかもしれません。

何か考えはありますか？

Answer 1

ニューラル ネットワークのレイヤー数、つまり深さは、そのハイパーパラメーターの 1 つです。

これは、データから学習できない量であることを意味しますが、データセットに適合させる前に選択する必要があります。ベンジオによれば、

学習アルゴリズム A のハイパーパラメーターを、A をデータに実際に適用する前に設定する変数として定義します。この変数は、学習アルゴリズム自体によって直接選択されるわけではありません。

ハイパーパラメータの最適値を見つけるには、主に 3 つの方法があります。最初の 2 つは、リンク先の論文で詳しく説明されています。

• 手動検索。よく知られている黒魔術を使用して、研究者は試行錯誤を通じて最適な値を選択します。
• 自動検索。研究者は、検索を高速化するために自動化されたルーチンに依存しています。
• ベイジアン最適化。

より具体的には、深層ニューラル ネットワークに層を追加すると、トレーニング データに過適合する場合に特定の数まで、パフォーマンスが向上する (汎化エラーが減少する) 可能性があります。

したがって、実際には、たとえば 4 つの層で ConvNet をトレーニングし、隠れ層を 1 つ追加してみて、過剰適合が見られるまで再度トレーニングする必要があります。もちろん、いくつかの強力な正則化手法 ( dropoutなど) が必要です。