Analizador lexico

[CalgaryCorpus]

Tienes que manejar el estado de tu maquina de estados. El estado podria ser, por ejemplo: fuera de una palabra o dentro de una palabra, inicialmente estas fuera, una vez que aparece un texto, estas dentro.

Cuando aparece un espacio o cambio de linea, vuelves a estar fuera y te quedas alli hasta que aparezca una letra.

Sin una variable que mantenga el estado, sera dificil. Segun veo, siempre asignas a la palabra y despues haces logica si lo que aparecio fue o no un separador.

Resumen: maneja el estado en una variable.