theano - word2vecツールで言語モデルを計算するには?

Question

私はニューラル ネットワーク言語モデルを構築しようとしていますが、Mikolov らによる word2vec ツールはこの目的に適したツールのようです。私はそれを試しましたが、単語表現を生成するだけです。そのツールまたは他の合理的な深層学習フレームワークで言語モデルを作成する方法を知っている人はいますか?

Answer 1

Microsoft Research は、word2vec スタイルのベクトルを使用した言語モデリング用のツールキットをリリースしました。ここで見つけることができます。

Answer 2

word2vec単一の単語 (または単語のグループ) を数値ベクトルとして表すツールです。したがって、言語モデルとは直接関係ありません。

言語モデルを生成するには、MITLMを使用できます。たとえば、次のLectures.txtコマンドでコーパスを使用して N-gram モデルを作成できます。

estimate-ngram -text Lectures.txt -write-lm Lectures.lm

優れたチュートリアルはこちらにあります。