deep-learning - 弁別制限付きボルツマン マシン用の Softmax 層

Question

1. 4 層の RBM を使用して DBN を作成しています。(各レイヤーには 21 個のノードがあります)
2. 最後のレイヤーでは、ラベル データ、具体的には 2 つのクラスを追加しています (この DBN はバイナリ分類子です。クラス ラベル データを追加した後、最上位レイヤーに 21+2=23 ノードがあります)。
3. 最後のレイヤーの出力をクラス ラベル入力と組み合わせて、2 セルのベクトルにソフトマックスしています (位置 0 の 1 はクラス 0 を示し、位置 1 の 1 はクラス 1 を示します)。

質問 - 1. CD-k を使用して、このソフトマックス層をトレーニングする必要がありますか? つまり、出力層と最後の (拡張された) 層の間で CD を作成する必要がありますか?

2. 層から出力層への最後の接続の重みをどのように初期化しますか?

3. あるいは、下層に対して CD-k を使用して 21+2 ユニットの最上層をトレーニングする必要がありますか?

ありがとう。私はこの論文を見ています - http://machinelearning.org/archive/icml2008/papers/601.pdf

Answer 1

1. はい、CD を使用してターゲット ラベルと入力フィーチャを RBM の可視レイヤー データとして一緒にトレーニングします。
2. これはランダムに初期化されます。「最後から出力」の重み行列は、最上層の RBM 重み行列の一部です。論文の図に示されているように、{x,y} は RBM の単一の可視レイヤーとして見ることができます。
3. したがって、この {x,y}-h RBM のトレーニングは、通常の vh RBM のトレーニングと同じです。

最後に、別個のソフトマックス層が必要な場合は、実際に DNN を探します。これは、ここでトレーニングしている DBN によって初期化できます。しかし、それは別の話です。

---

2 クラス分類の場合、1-of-2 コーディング ソフトマックス レイヤーで 2 つのノードを使用するか、1 つのバイナリ ノード (1 つのクラスに 0、もう 1 つのクラスに 1) を使用できます。