java - Javaでテキストファイルをトークン化する最良の方法は何ですか?

Question

次の場合、Java でテキスト ファイルをトークン化する最良の方法は何ですか?

1. String ではなく、java.io.Reader で作業したい
2. 区切り文字を返す必要がありますか?

以下のクラスを評価しました。

• java.util.StringTokenizer は [2.] を満たしますが、[1.] を満たしません。
• java.util.Scanner は [1.] を満たしますが、[2.] を満たしません。
• java.io.StreamTokenizer はかなり複雑に見えます。

実際、区切り記号は必要ありません。特定のトークンがストリームの最後まで利用可能であるかどうかを知る必要があるだけで、それをフェッチし、トークンの前にあるすべてのものをフェッチします。ステップごとにトークンを再指定できる必要があります。

Apache Commons、Google Code Search、Stack Overflow を調べましたが、何も見つかりませんでした。

Answer 1

Scanner仕事をするnext(Pattern p)方法があると思います。正しいパターンを見つけるだけで区切り文字が返され、トークンを再指定することもできます。