Hola!
Como la ventana es modal, espera a que le devuelvas el resultado, con lo que despues del showModalDialog deberias poner algo como:
Cita: if(x==true)
response.redirect('aceptar.htm');
else
response.redirect('cancelar.htm');
Espero que sea de ayuda a alguien.
Un saludo