問題タブ [word-embedding]

このリンクhttps://github.com/stanfordnlp/GloVe/tree/master/srcからの実装に従って Glove モデルを実装しました。vocab.txt ファイルの生成時に最大 vocab パラメーターを 100000000 に指定し、モデルのトレーニング中に単語ベクトルの次元を 100 に指定し、100 次元のvectors.txt を生成しました。上記のリンクの eval フォルダーから word_analogy.py を評価しようとすると、次のエラーが発生します。

語彙ファイル作成時に指定したパラメータがベクトルファイルの次元に影響するか知りたい

私は最近、文の埋め込みに 3 つの異なる埋め込みレイヤーを使用するこの論文End-To-End Memory Networks を読みました。今、私はこのアーキテクチャを keras で再現しようとしています。

しかし、3 つの異なる埋め込みを作成する方法がわかりません。これらは、同じコーパスに基づくまったく同じ次元ですが、埋め込みには異なる値が必要です。このレイヤーを実装するには、Embedding Layersを使用する必要がありkernel_initializer =random_uniformますか?

Word2Vec のような事前トレーニング済みの埋め込みは知っていますが、現在、事前トレーニング済みのモデルは重要ではありませんか?

WMD paperによると、これは word2vec モデルに触発され、word2vec ベクトル空間を使用してドキュメント 1 をドキュメント 2 に移動します (Earth Mover Distance メトリックのコンテキストで)。紙から：

論文の概念は理解できましたが、Gensim のコードから wmd が word2vec 埋め込みスペースを使用する方法を理解できませんでした。

誰かが簡単に説明できますか？このコードのどこで word2vec 埋め込み行列が使用されているか理解できなかったため、別の方法で単語ベクトルを計算しますか?

Gensim の WMD 機能: