私が必要としているものの基本的な考え方は、空白の修正です (しかし、もっと多くのことを評価することもできます!): I am in a park ( with her , not him ) .=>I am in a park (with her, not him).
空白の修正は正規表現で行うことができますが、言語固有のルールをすべて用意する必要があります(ライブラリで整理しておくとよいでしょう!)。実際、私はフランス語のテキストに対してそれを行う必要があり、句読点の間隔規則は英語とは異なります。
たとえば、NLTK（python）がそれを行うのに役立つかどうかはわかりません。