Me parece que el problema está en las comillas, no puedes usar comillas simples para enmarcar el script y para el texto del confirm, en algún sitio tienes que meter otro nivel de anidamiento (comillas dobles):
echo "<a href='delete.php' OnClick='return confirm(\"Estas seguro\");'> Click here </a>";
¿Qué has usado para depurar el JavaScript? Con firebug me ha salido el error en seguida.