問題タブ [fasttext]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
nlp - FastText を使用して不均衡なラベル データを処理する方法は?
FastText では、ラベルのバランスが取れていません。それを処理する最良の方法は何ですか？
python - Gensim Fasttext の事前トレーニング済みモデルは、語彙外の単語のベクトルをどのように取得しますか?
gensim を使用して、事前トレーニング済みの fasttext モデルをロードしています。英語のウィキペディアでトレーニングされたモデルを fasttext web サイトからダウンロードしました。
事前トレーニング済みのモデルをロードするために私が書いたコードは次のとおりです。
次のフレーズがボーカルに存在するかどうかを確認しようとします (これらは事前にトレーニングされたモデルであるため、めったにありません)。
そのため、「社内エグゼクティブ」というフレーズは語彙にはありませんが、それに対応する単語ベクトルはまだあります。
私の混乱は、Fastextが単語の文字ngramのベクトルも作成することです。したがって、単語「内部」の場合、単語全体を含むすべての文字 ngram のベクトルを作成し、単語の最終的な単語ベクトルは文字 ngram の合計になります。
しかし、どうすれば単語や文全体のベクトルを得ることができるのでしょうか? fastext ベクトルは単語とその ngram 用ではありませんか? では、明らかに 2 つの単語である場合、フレーズに対して私が見ているこれらのベクトルは何ですか?