私は単語レベルの言語モデルを lingpipe で動作させようとしています。私が遭遇したすべての例とチュートリアルは、character-n-gram モデルを示しています。lingpipe を使用して単語レベルのモデルをトレーニングし、そのモデルを使用して他のドキュメントでテストするにはどうすればよいですか?
さらに、TokenizedLM はシリアル化できないことに気付きました。毎回再トレーニングを行うことなく、保存して後でロードする方法はありませんか?
最後に、自分でコーディングせずにこれを行うことができる他のフレームワーク/ツールはありますか?