私は、自然言語処理用に約 40,000 個のテキスト ファイル (平均サイズが 1 KB を超えています) を持っています。Java を使用して、これらすべてのファイルにいくつかの一般的な前処理関数を適用したいと考えています。これらの機能には、すべての文字を小文字に変換する、すべての句読点を削除する、すべての数字を削除する、重複する空白 (タブスペース) を削除する、すべての事前定義されたストップ ワードを削除する、最後に、結果のファイルをディスクに保存するなどがあります。
この種の作業に効果的な Java ライブラリを推奨してくれる人はいますか? どうもありがとう ！