Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
Javaで、さらに処理するためにイタリア語のテキストをトークン化しようとしています。イタリア語の入力をトークン化するためのツールはありますか? SimpleTokenizerはある程度は正常に機能しますが、「De Marchi」のようなイタリアの姓の場合、2 つのトークンとして取得します。