python - lm_1b トレーニング済みモデルから単語/文の確率を抽出する

Question

CNN-LSTM ( https://github.com/tensorflow/models/tree/master/research/lm_1b ) を使用してトレーニングされた 1B 単語言語モデルのダウンロードに成功しました。文章または部分的な文章を入力できるようにしたいと考えています。文の後続の各単語の確率を取得します。

たとえば、「と言う動物」のような文がある場合、次の単語が「woof」と「meow」である確率を知りたいと思います。

以下を実行すると LSTM 埋め込みが生成されることを理解しています。

bazel-bin/lm_1b/lm_1b_eval --mode dump_lstm_emb \
                           --pbtxt data/graph-2016-09-10.pbtxt \
                           --vocab_file data/vocab-2016-09-10.txt \
                           --ckpt 'data/ckpt-*' \
                           --sentence "An animal that says woof" \                             
                           --save_dir output

これによりlstm_emb_step_*.npy、各ファイルが文内の各単語の LSTM 埋め込みであるファイルが生成されます。P(woof|An animal that says)これらをトレーニング済みモデルの確率に変換して、対を比較できるようにするにはどうすればよいP(meow|An animal that says)ですか?

前もって感謝します。