問題タブ [perplexity]

これに基づいてモデルを構築するとしましょう:

困惑の式から ( https://web.stanford.edu/class/cs124/lec/languagemodeling.pdf )

逆対数式の合計を適用して内部変数を取得し、次に n 乗根を取ると、困惑数は異常に小さくなります。

データにない文で再試行:

そして、完全にドメインデータが不足している状態で再試行します:

文が長いほど困惑度が低いと予想されるが、その差が 1.0 未満で小数の範囲にあるのは奇妙である。

上記は、KenLM で perplexity を計算する正しい方法ですか? そうでない場合は、Python API を使用して KenLM を使用して複雑さを計算する方法を知っている人はいますか?

そのため、言語モデルを構築するために、語彙サイズを超えてランク付けされた頻度の低い単語は「UNK」として置き換えられます。

私の質問は、「UNK」に基づいて確率を評価する言語モデルをどのように評価するかということです。テストセットでそのような言語モデルの困惑を評価したいとします。モデルにとって未知の単語について、得られる確率は未知の単語の「バッグ」に基づいて評価されます。

語彙サイズを 1 に設定すると、つまりすべての単語が不明な場合、この何もできない言語モデルの困惑度は 1 になるため、これは問題があるようです。