Hola:
Parece que el error es que estás recogiendo los datos con responseXML, y el XML no está bien formado... tal vez sea mejor usar responseText, pero mejor idea es chequear si el email es válido con javascript... las expresiones regulares se manejan muy bien... y si de todas formas debes hacerlo en el servidor, creo que mejor es que solo devuelva el error:
<error>Mal email</error>
y en la recepción XML algo así:
with (respuestaAjax.getElementsByTagName("error")[0])
if (hasChildNodes()) alert(firstChild.nodeValue);
De más está decir que si no hay error se obtenga el tag error vacío (<error /> -> <error><?=$error; ?></error>)
Saludos