0

Theano のRNNに関するチュートリアルでは、最後の部分で次のように述べています。

各更新後に正規化することにより、単語の埋め込みを単位球に保持します。

self.normalize = theano.function(inputs=[],
                                  updates={self.emb:
                                              self.emb /
                                              T.sqrt((self.emb**2)
                                              .sum(axis=1))
                                              .dimshuffle(0, 'x')})
                                              .sum(axis=1))
                                              .dimshuffle(0, 'x')})

私がオンラインで検索したところ、Recurrent-Neural-Network Architectures and Learning Methods for Spoken Language Understanding の調査という論文が、3.5.1 章で単語埋め込みの微調整であると述べられているだけでした。

単語の埋め込みを微調整できる理由がわかりません。 self.embは、この RNN モデルの入力ですよね? 入力値を変更するにはどうすればよいでしょうか?

4

1 に答える 1