SpatialDropout1D
の代わりに使用しているモデルを時々見かけますDropout
。たとえば、品詞のタグ付けニューラル ネットワークでは、次のものが使用されます。
model = Sequential()
model.add(Embedding(s_vocabsize, EMBED_SIZE,
input_length=MAX_SEQLEN))
model.add(SpatialDropout1D(0.2)) ##This
model.add(GRU(HIDDEN_SIZE, dropout=0.2, recurrent_dropout=0.2))
model.add(RepeatVector(MAX_SEQLEN))
model.add(GRU(HIDDEN_SIZE, return_sequences=True))
model.add(TimeDistributed(Dense(t_vocabsize)))
model.add(Activation("softmax"))
Keras のドキュメントによると、次のように書かれています。
このバージョンは Dropout と同じ機能を実行しますが、個々の要素ではなく 1D フィーチャー マップ全体をドロップします。
しかし、 entrie 1D featureの意味がわかりません。より具体的には、 quoraSpatialDropout1D
で説明されているのと同じモデルで視覚化できません。誰かが quora と同じモデルを使用してこの概念を説明できますか?
また、どのような状況で ?SpatialDropout1D
の代わりに使用しDropout
ますか?