40

SpatialDropout1Dの代わりに使用しているモデルを時々見かけますDropout。たとえば、品詞のタグ付けニューラル ネットワークでは、次のものが使用されます。

model = Sequential()
model.add(Embedding(s_vocabsize, EMBED_SIZE,
                    input_length=MAX_SEQLEN))
model.add(SpatialDropout1D(0.2)) ##This
model.add(GRU(HIDDEN_SIZE, dropout=0.2, recurrent_dropout=0.2))
model.add(RepeatVector(MAX_SEQLEN))
model.add(GRU(HIDDEN_SIZE, return_sequences=True))
model.add(TimeDistributed(Dense(t_vocabsize)))
model.add(Activation("softmax"))

Keras のドキュメントによると、次のように書かれています。

このバージョンは Dropout と同じ機能を実行しますが、個々の要素ではなく 1D フィーチャー マップ全体をドロップします。

しかし、 entrie 1D featureの意味がわかりません。より具体的には、 quoraSpatialDropout1Dで説明されているのと同じモデルで視覚化できません。誰かが quora と同じモデルを使用してこの概念を説明できますか?

また、どのような状況で ?SpatialDropout1Dの代わりに使用しDropoutますか?

4

2 に答える 2