Sucede que no puedes poner código HTML de esa manera, debes entender que el HTML es un string en PHP... y bueno, debes tratarlo como tal.
Código PHP:
// MAL
<a href="registro.php">regresar a pagina de registro</a>;
// BIEN
echo '<a href="registro.php">regresar a pagina de registro</a>;';