No entiendo muy bien qué es lo que quieres, en tu código " " es el delimitador, por lo tanto nunca será token, token son los trozos que se encuentren entre " ".
Si lo que quieres es que también considere a " " como token, además de delimitador
http://download.oracle.com/docs/cd/E...Tokenizer.html Cita: public StringTokenizer(String str,
String delim,
boolean returnDelims)