xmlns simplemente define el namespace del documento
XHTML, por lo que no es válido en HTML
mas información:
http://www.w3schools.com/tags/att_html_xmlns.asp
indudablemente el DOCTYPE cumple un papel determinante a la hora en que el navegador decida como interpretar el documento, HTML5 esta en plena evolución te recomiendo seguir con un doctype 4 transitional, pero nunca dejes una pagina sin doctype