NLP タスクで GloVe 埋め込みを使用する場合、データセットの一部の単語が GloVe に存在しない場合があります。したがって、これらの未知の単語に対してランダムな重みをインスタンス化します。
GloVe から取得したウェイトをフリーズして、新しくインスタンス化されたウェイトのみをトレーニングすることは可能でしょうか?
設定できることだけは知っています: model.embedding.weight.requires_grad = False
しかし、これは新しい単語を訓練できなくします..
または、単語のセマンティクスを抽出するより良い方法はありますか..