0

特にmax_len,hidden_sizeまたはembedding_size.

config = {
    "max_len": 64,
    "hidden_size": 64,
    "vocab_size": vocab_size,
    "embedding_size": 128,
    "n_class": 15,
    "learning_rate": 1e-3,
    "batch_size": 32,
    "train_epoch": 20
}

エラーが発生します：

「ValueError: Tensor 'Placeholder:0' の形状 (32, 32) の値をフィードできません。形状は '(?, 64)' です」

以下のテンソルフローグラフは、私が理解に問題があるものです。max_len上記のエラーを回避するために、どの相対hidden_sizeまたはembedding_sizeパラメーターを設定する必要があるかを理解する方法はありますか?

        embeddings_var = tf.Variable(tf.random_uniform([self.vocab_size, self.embedding_size], -1.0, 1.0),
                                     trainable=True)
        batch_embedded = tf.nn.embedding_lookup(embeddings_var, self.x)
        # multi-head attention
        ma = multihead_attention(queries=batch_embedded, keys=batch_embedded)
        # FFN(x) = LN(x + point-wisely NN(x))
        outputs = feedforward(ma, [self.hidden_size, self.embedding_size])
        outputs = tf.reshape(outputs, [-1, self.max_len * self.embedding_size])
        logits = tf.layers.dense(outputs, units=self.n_class)

        self.loss = tf.reduce_mean(
            tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=self.label))
        self.prediction = tf.argmax(tf.nn.softmax(logits), 1)

        # optimization
        loss_to_minimize = self.loss
        tvars = tf.trainable_variables()
        gradients = tf.gradients(loss_to_minimize, tvars, aggregation_method=tf.AggregationMethod.EXPERIMENTAL_TREE)
        grads, global_norm = tf.clip_by_global_norm(gradients, 1.0)

        self.global_step = tf.Variable(0, name="global_step", trainable=False)
        self.optimizer = tf.train.AdamOptimizer(learning_rate=self.learning_rate)
        self.train_op = self.optimizer.apply_gradients(zip(grads, tvars), global_step=self.global_step,
                                                       name='train_step')
        print("graph built successfully!")
4

1 に答える 1

1

max_lenトレーニング セット内のトークンごとの最長の文/ドキュメントの長さです。これは、入力テンソルの 2 番目の次元です (最初の次元はバッチです)。

各センテンスは、この長さまでパディングされます。各トークンにはそれぞれの重みがあるため、アテンション モデルには定義済みの最長文が必要です。

hidden_sizeは非表示の RNN セルのサイズで、各タイム ステップで出力される任意の値に設定できます。

embedding_sizeトークン表現の次元を定義します (たとえば、word2vec の標準は 300、BERT 埋め込みの標準は 1024 など)。

于 2019-04-16T11:24:08.077 に答える