問題タブ [fasttext]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
c - fastText と word2vec: 精度計算コードの NaN
トレーニング済みの英語版ウィキペディア ベクトル ファイル ( wiki.en.vec) を fastText Github リポジトリ ページからダウンロードし、次のように Mikolov の最初の word2vec 論文で説明されているように、構文および意味の類推タスクの精度を計算しようとしました。
を実行するだけで word2vec リポジトリを構築しましたmake。
つまり、デフォルトで 30000 に制限するのでは./compute-accuracy wiki.en.vec 0 < questions-words.txtなく、語彙全体を考慮するために、事前トレーニング済みのベクトル ファイルを word2vec の計算精度バイナリに 0 のしきい値と共に渡し、精度も送信します。コードが標準入力からデータセットを読み取ることに気付いたので、計算データセットquestions-words.txtを使用しています。<
応答として、以下のような一連の NaN を取得します。これは、しきい値を 30000 などに変更しても変わりません。
英語の事前学習済みベクトルが word2vec の精度計算コードで機能しないように見える理由を誰か説明してもらえますか? 見てみるcompute-accuracy.cと、標準のベクター ファイルの書式設定規則が想定さwiki.en.vecれているように見えます。また、標準の規則で書式設定されているようにも見えます。
また、fastText の論文では、fastText ベクトルを使用した単語の類推精度が提示されており、この論文では Mikolov の word2vec 論文が引用されています。明らかに、同じデータセットが使用されており、おそらく同じ word2veccompute-accuracy.cファイルが提示された数値を取得するために使用されました。それで、誰かが何がうまくいかないのか説明してもらえますか？
python - Fasttext for Python - モジュール 'fasttext' には属性 'load_model' がありません
ここで私の初心者を許してください。ただし、python では fasttext が機能しません。私はpython 3.6を実行しているアナコンダを使用しています。私のコードは次のとおりです(単なる例):
これにより、次のエラーが返されます。
単語ベクトルを作成しようとすると、cbow と skipgram で同じことを行います。.../site-packages/fasttext ディレクトリからinit .py ファイルを確認すると、前述の属性がインポートされますが、それらは model.py モジュールの一部ではありません。これは共有オブジェクトファイルと関係があると思いますが、よくわかりません。どんな助けでも大歓迎です。