Attention Is All You Needによって提案されたTransform モデルを tensorflow の公式ドキュメントTransformer model から言語理解に適用することを学んでいます。
セクション位置エンコーディングが言うように：
このモデルには再帰や畳み込みが含まれていないため、位置エンコーディングが追加されて、文内の単語の相対的な位置に関する情報がモデルに提供されます。
位置エンコーディング ベクトルは、埋め込みベクトルに追加されます。
私の理解は、にpositional encoding vector直接追加することembedding vectorです。しかしembedding vector、コードを見ると、定数が掛けられていることがわかりました。
セクションEncoderのコードは次のとおりです。
class Encoder(tf.keras.layers.Layer):
def __init__(self, num_layers, d_model, num_heads, dff, input_vocab_size,
rate=0.1):
super(Encoder, self).__init__()
self.d_model = d_model
self.num_layers = num_layers
self.embedding = tf.keras.layers.Embedding(input_vocab_size, d_model)
self.pos_encoding = positional_encoding(input_vocab_size, self.d_model)
self.enc_layers = [EncoderLayer(d_model, num_heads, dff, rate)
for _ in range(num_layers)]
self.dropout = tf.keras.layers.Dropout(rate)
def call(self, x, training, mask):
seq_len = tf.shape(x)[1]
# adding embedding and position encoding.
x = self.embedding(x) # (batch_size, input_seq_len, d_model)
x *= tf.math.sqrt(tf.cast(self.d_model, tf.float32))
x += self.pos_encoding[:, :seq_len, :]
x = self.dropout(x, training=training)
for i in range(self.num_layers):
x = self.enc_layers[i](x, training, mask)
return x # (batch_size, input_seq_len, d_model)
x *= tf.math.sqrt(tf.cast(self.d_model, tf.float32))前に見ることができますx += self.pos_encoding[:, :seq_len, :]。
では、Transformer モデルで位置エンコーディングを追加する前に、埋め込みベクトルに定数を乗算するのはなぜですか?