Hay que prestar especial atención a acotar entre comillas simples (') los valores literales (cadenas de caracteres). Te recomiendo que las consultas SQl las hagas siempre entre comillas dobles para evitar estos errores.
Así lo tienes:
Código PHP:
$query = 'DELETE FROM registros
WHERE
nombre = ' .$_GET['id'];
Debería ser así:
Código PHP:
$query = "DELETE FROM registros
WHERE
nombre = '" .$_GET['id']. "'";
Saludos,