Quizás tengas que probarlo mejor.. o tienes otras variables interfiriendo en el sistema..
Código PHP:
<script>
function confirmar(){
return confirm ("Desea eliminar?");
}
</script>
<form action="http://www.google.es" method="GET">
<input name="btn_delete" type="submit" onclick="return confirmar()" value="Eliminar" alt="Eliminar" />
</form>
Funciona en FF2. Prueba quitando elementos de la página...
Un saludo.