1

Javaで、さらに処理するためにイタリア語のテキストをトークン化しようとしています。イタリア語の入力をトークン化するためのツールはありますか? SimpleTokenizerはある程度は正常に機能しますが、「De Marchi」のようなイタリアの姓の場合、2 つのトークンとして取得します。

4

0 に答える 0