あなたの問題は、(明らかに)スペースがデフォルトで区切り文字と見なされることです(驚くことはほとんどありません)。コンマを空白文字として設定したため、コンマとスペースの両方が空白文字と見なされます。次のプログラムは、私があなたが望むと思うことを行います。スペースを「wordChars」に設定する行に注意してください。
import java.io.IOException;
import java.io.StreamTokenizer;
import java.io.StringReader;
public class TokenTeaser
{
public static void main(String[] args)
{
try
{
String testString = "one two, three, four five";
StringReader sr = new StringReader(testString);
StreamTokenizer st = new StreamTokenizer(sr);
st.whitespaceChars(',', ',');
st.wordChars(' ', ' ');
int currentToken = st.nextToken();
while (currentToken != StreamTokenizer.TT_EOF)
{
System.out.println(st.sval);
currentToken = st.nextToken();
}
}
catch (IOException e)
{
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}