Hola Anarko
jé, andas bastante despistado con el asunto este, es mucho más simple
Cita: Se trata únicamente de "escribir bién" el html o es algo más útil/practico que eso ?
Se trata, efectivamente, de escribir bien el html adaptándolo a xhml que se puede decir que no es más que un html reformulado al cual se le han quitado atributos y elementos (especialmente los presentacionales) y unas normas de gramática algo más estrictas. El xhtml lo que pretende es buscar compatibilidad entre el xml y el html.
No debes cambiar las extensiones de las páginas si son php. Recuerda que la extensión php es lo que indica al servidor que debe abrir el documento antes de enviarlo y procesarlo devolviendo html que es lo que le llega al navegador.
Así deja las extensiones php en php y las html en html.
Dentro del documento es donde se indica el DTD (document type definition) que es esta línea
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "xhtml/xhtml1-strict.dtd">
Ahí es donde se le indica al navegador el lenguaje y versión que usa el documento para que el navegador lo parsee en una u otra forma.
Por lo demás deberás acondicionar el html existente para que sea xhtml, pero sólo eso deberás retocar (sólo que es mucho).
Puedes leer este artículo al respecto
http://www.tierradenomadas.com/tw001.phtml
y también el anexo técnico (hay un link al final del artículo) donde encontrarás un resumen de los elementos y atributos desaprobado.
http://www.tierradenomadas.com/tw001a.html
El DTD que estás usando es el estricto (strict) tal vez si usas el transicional te sea más práctico, al menos para empezar (es más permisivo)
Un saludo