2

スタックされたオートエンコーダーを事前トレーニングのステップとして使用したいとしましょう。

私の完全な自動エンコーダーが 40-30-10-30-40 だとしましょう。

私の手順は次のとおりです。

  1. 入力層と出力層の両方で元の 40 個の特徴データ セットを使用して 40-30-40 をトレーニングします。
  2. 上記の 40-30 エンコーダーのトレーニング済みエンコーダー部分のみを使用して、元の 40 特徴の新しい 30 特徴表現を導き出します。
  3. 入力レイヤーと出力レイヤーの両方で、新しい 30 個の特徴データ セット (手順 2 で取得) を使用して 30-10-30 をトレーニングします。
  4. ステップ 1 の 40-30 でトレーニングされたエンコーダーを取得し、それをステップ 3 の 30-10 からのエンコーダーにフィードして、40-30-10 エンコーダーを提供します。
  5. ステップ 4 から 40-30-10 エンコーダーを取得し、それを NN の入力として使用します。

a) それは正しいですか。

b) 元の 40 特徴データ セットから 10 特徴表現を事前生成し、新しい 10 特徴表現データ セットでトレーニングするのと同じである NN をトレーニングするときに、40-30-10 エンコーダーの重みを固定しますか?

PS。エンコーダーとデコーダーの重みを結び付ける必要があるかどうかについて、既に質問があります。

4

1 に答える 1

2

a) それは正しいですか。

これは典型的なアプローチの 1 つです。その多くのレイヤーを持つ「生の」オートエンコーダーはすぐに適合できるはずなので、オートエンコーダーを直接適合させることもできます。代わりに、スタックされたノイズ除去オートエンコーダーを適合させることを検討することもできます。

b) 元の 40 特徴データ セットから 10 特徴表現を事前生成し、新しい 10 特徴表現データ セットでトレーニングするのと同じ NN をトレーニングするときに、40-30-10 エンコーダーの重みを固定しますか?

NN 全体をトレーニングすると、何もフリーズしません。事前トレーニングは、最適化プロセスの一種の前提条件にすぎません。メソッドをどこから開始するかを示しますが、実際の教師あり学習のフィッティング手順を制限したくありません。

PS。エンコーダーとデコーダーの重みを結び付ける必要があるかどうかについて、既に質問があります。

いいえ、重みを結び付ける必要はありません。特に、実際にデコーダーを破棄する場合はなおさらです。重みを結びつけることは、(RBM の場合のように) 最小化手順を可能にするために、いくつかのより確率的なモデルにとって重要ですが、オートエンコーダーには意味がありません。

于 2016-04-27T23:46:02.853 に答える