問題タブ [kenlm]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

19 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
4 に答える
5331 参照

python - KenLM を使用して perplexity を計算するには?

これに基づいてモデルを構築するとしましょう:

困惑の式から ( https://web.stanford.edu/class/cs124/lec/languagemodeling.pdf )

逆対数式の合計を適用して内部変数を取得し、次に n 乗根を取ると、困惑数は異常に小さくなります。

データにない文で再試行:

そして、完全にドメインデータが不足している状態で再試行します:

文が長いほど困惑度が低いと予想されるが、その差が 1.0 未満で小数の範囲にあるのは奇妙である。

上記は、KenLM で perplexity を計算する正しい方法ですか? そうでない場合は、Python API を使用して KenLM を使用して複雑さを計算する方法を知っている人はいますか?


12345678910