LMにはkenlm paperが良さそうです。最小限のドキュメントが与えられているように感じ、理解に困難を感じました。
したがって、kenlm を理解する一環として、モデルのクエリの出力形式を理解する必要があります。その詳細を教えてください。
タグが利用できないため、lm、kenlmで正しくタグ付けできませんでした。
詳細：
実行:
bin/query trainingdata.binary < temp.txt
出力：
city=274 2 -3.71333 </s>=2 1 -0.914832 Total: -4.62817 OOV: 0
new=1037 2 -2.64194 york=2124 2 -2.27023 </s>=2 1 -0.867251 Total: -5.77943 OOV: 0
samsung=3 2 -2.39176 galaxy=4 3 -0.193832 s5=5 4 -0.536524 </s>=2 5 -0.595418 Total: -3.71753 OOV: 0
fingers=6 2 -4.25789 crossed=7 3 -1.00535 samsung=3 4 -0.766757 </s>=2 5 -0.757035 Total: -6.78703 OOV: 0
jessica=8 2 -3.77437 simpson=9 3 -0.45866 collection=10 4 -1.24209 </s>=2 5 -0.144034 Total: -5.61916 OOV: 0
plexus=11 2 -4.46277 slim=12 3 -0.804323 </s>=2 4 -0.606899 Total: -5.87399 OOV: 0
under=13 2 -3.23437 armour=14 3 -0.575785 outlet=15 4 -1.32109 </s>=2 5 -0.18898 Total: -5.32022 OOV: 0
amazon=16 2 -2.05178 seller=17 3 -2.5683 central=18 4 -0.94366 </s>=2 5 -0.643415 Total: -6.20716 OOV: 0
garcinia=19 2 -2.6464 cambogia=20 3 -0.101819 reviews=21 4 -1.86317 </s>=2 5 -0.0987858 Total: -4.71017 OOV: 0
womens=22 2 -3.10627 organic=23 3 -1.64262 lube.=24 4 -1.12123 </s>=2 5 -0.505745 Total: -6.37587 OOV: 0
doc=25 2 -3.00747 mcstuffins=26 3 -0.130808 </s>=2 4 -0.485077 Total: -3.62336 OOV: 0
</s>=2 1 -0.975736 Total: -0.975736 OOV: 0
Perplexity including OOVs: 30.9347
Perplexity excluding OOVs: 30.9347
OOVs: 0
Total time including destruction:
Name:query VmPeak:30664 kB VmRSS:1748 kB RSSMax:3132 kB user:0.000999 sys:0 CPU:0.000999 real:0.000817598