0

このスキームのように、テンソルフローを使用して CLDNN の実装を作成しようとしています。次元削減レイヤーに問題があります。

私が理解している限りでは、これは複数の制限付きボルツマン マシン (RBM) を積み重ねて作成されており、オートエンコーダーのように機能します。レイヤーのデコーダー部分は、エンコーダーをトレーニングしてウェルの次元を削減するためだけに存在します。これは、エンコーダーの出力を次のレイヤーの入力に「接続」することを意味します。

(デコードされた出力からの入力を比較することによって) オートエンコーダーをトレーニングする損失関数と、グラフ全体をトレーニングする別の損失関数を定義できます。これら2つの損失関数を訓練する方法はありますか? または、ここで問題を誤解しているのかもしれませんが、オートエンコーダーのデコーダー部分が「ループの外」に置かれており、トレーニングされていないように感じます。

そのようなオートエンコーダーや畳み込みレイヤーなどの実装を見つけました...しかし、ネットワーク内にオートエンコーダーを「挿入」する方法がよくわかりません(スキームのように)

4

1 に答える 1

0

紙は言う

Computational Network Toolkit (CNTK) [24] は、ニューラル ネットワークのトレーニングに使用されます。[14] が示唆するように、生成的または識別的な事前トレーニング [1] なしで、すべてのレイヤーに均一なランダムな重みの初期化を適用します。

図の次元削減は、単純に密な射影層です。そのため、オートエンコーダーをトレーニングするのではなく、ネットワーク アーキテクチャを構成し、ランダムな初期状態からネットワークをトレーニングするだけです。

以前はサブネットワークの初期化にオートエンコーダーが使用されていましたが、現在はあまり一般的ではありません。

于 2016-12-07T11:26:21.347 に答える