3 グラム カウントの大きなファイルの平滑化に問題があります。:estimate-ngram -order 3 -counts allgrams -smoothing FixModKN -wl allgrams.FixModKN.lm コマンドを使用すると、次のエラーが発生します。
Saving LM to train.corpus.lm...
estimate-ngram: src/NgramModel.cpp:422: void NgramModel::SaveLM(const
std::vector<DenseVector<double>, std::allocator<DenseVector<double> > >&, const
std::vector<DenseVector<double>, std::allocator<DenseVector<double> > >&, ZFile&)
const: Assertion `(size_t)(ptr - lineBuffer.data()) < lineBuffer.size()' failed.
4,7GBのファイルで2グラムを試す前に、問題なく動作しました。3グラムのファイルは20GBです。
私のオペレーティング システムは GNU/Linux x86_64 で、96GB RAM を搭載しています。