13

私はオートエンコーダーを見ていて、タイの重みを使用するかどうか疑問に思っていました。事前トレーニングのステップとしてそれらを積み重ねてから、非表示の表現を使用して NN にフィードするつもりです。

固定されていない重みを使用すると、次のようになります。

f(x)=σ 2 ( b 2 + W 2 *σ 1 ( b 1 + W 1 *x))

タイド ウェイトを使用すると、次のようになります。

f(x)=σ 2 ( b 2 + W 1 T *σ 1 ( b 1 + W 1 *x))

非常に単純化した見方からすると、重みを結び付けると、エンコーダー部分がアーキテクチャに基づいて最適な表現を生成することが保証されるのに対し、重みが独立している場合、デコーダーは最適でない表現を効果的に取得し、それでもデコードできると言えますか?

デコーダーが「魔法」が発生する場所であり、エンコーダーのみを使用してNNを駆動するつもりである場合、それは問題ではないのでお願いします。

4

2 に答える 2

15

重みが関連付けられたオートエンコーダーには、いくつかの重要な利点があります。

  1. 習得が容易です。
  2. 線形の場合、PCA と同等です。これにより、より幾何学的に適切なコーディングが可能になります。
  3. タイド ウェイトは一種の正則化です。

しかしもちろん、それらは完全ではありません。データが非常に非線形な多様体から得られた場合、最適ではない可能性があります。あなたのデータのサイズに応じて、私は両方のアプローチを試してみます.

アップデート ：

あなたはまた、タイトな重みを持つオートエンコーダーからの表現が、そうでないものよりも優れている理由を尋ねました. もちろん、そのような表現が常に優れているわけではありませんが、再構成エラーが適切である場合、コーディング層のさまざまなユニットは、データの分散の大部分を説明する垂直特徴の生成器と見なされる可能性のあるものを表します (正確には PCA のように)行う）。これが、そのような表現が学習のさらなる段階で非常に役立つ理由です。

于 2016-04-27T14:17:27.467 に答える