information-retrieval - ユニグラムを平滑化する方法

Question

ユニグラム言語モデルがあり、カウントを滑らかにしたい。唯一の方法でスムージングを追加するか、他のスムージングも使用できますか。N > = 2のNgram用であるため、knesser nayを使用できるとは思いません。あなたが知っている他の平滑化方法はありますか？

ウィッテンベルはいかがですか？

Answer 1

ユニグラムの平滑化には、Good-Turing が最適です ...そして (適用するのは) 簡単です!

http://en.wikipedia.org/wiki/Good%E2%80%93Turing_frequency_estimation

高次の場合は、修正補間された Kneser-Ney が適切な選択です。