El error no eran las comillas. Los errores de tipo
Parse significan error en la sintaxis del código, y usualmente éste error se encuentra en la línea que se te indica o un par más arriba. Suelen suceder por llaves {} no emparejadas, punto y comas ; que faltan, discordancia entre el número paréntesis de apertura y cierre, etc. En tu caso, esto último era lo que pasaba:
Código PHP:
if($_POST['Submit']){
mysql_query("DELETE FROM Person WHERE ID='".$_POST['clave']"'"; //NO hay el paréntesis de cierre
//Debe ser
mysql_query("DELETE FROM Person WHERE ID='".$_POST['clave']"')";
}
De seguro es algo que se te pasó desapercibido
Saludos,