la verdad decir las diferencias entre uno y otro no me las se de memoria lo que si te puedo decir, para mi lo importante es el trabajo final...
html -> supongo te refieres a HTML4 (demasiado viejo no lo usaría para nada)
xhtml -> el de mi preferencia.
html5 -> el mas actual pero difícil de trabajar
bien xhtml es el de mi gusto porque lo conozco lo suficiente como para montar un sitio completo sin trabas de que se puede y que no, html5 puede ser mucho mas nuevo y tener mayores alcances que xhtml pero de momento no lo considero útil si el proyecto no demanda esos alcances y que no es soportado por todos los navegadores al 100 y no se hable de IE porque terminas haciendo mil malabares para hacerlo funcionar decentemente.
html5 yo te diría que lo uses y lo aprendas de momento para demos y experimentos propios pero no en trabajos finales de tus clientes, aun existe mucha incompatibilidad con los navegadores, aprenderlo pero no lo tomes como prioridad a corto plazo sino a mediano o largo plazo
aquí tienes algunos de los alcances de html5 y como veras la mayoría no los tiene xhtml e igual la mayoría no los demandara un proyecto por el momento o al menos no proyectos que yo maneje
-> clic aquí