Hola:
Con un botón submit, la cancelación del envío debes hacerla desde el evento del tag form...
<form onsubmit="return false"...
Entonces el botón, a pesar de ser tipo submit funcionaría como button, aunque si se produjese algún error en tu script, se cancelaría la cancelación (vaya la redundancia)...
Aunque tienes un código que es muy difícil de comprender... la alerta saltará con el valor 1, y si ejecuta Ajax, mostrará la página en la capa correspondiente... y dudo de que sea esa tu intención.
Saludos
