Cita:
Iniciado por Nigel 
En el caso de una cadena de caracteres, por "tokenizar" nos referimos a separarla en subcadenas según un determinado separador que definamos (por ejemplo, el espacio, para obtener cada palabra de una frase, o un guión, una coma, etc...)
Entonces en respuesta a la pregunta del colega es mejor q use
explode, no?
Saludos.
P.D.: Ya me ha quedado claro lo q es tokenizar.