Hola:
Te recomiendo que no te acostumbres a usar showModalDialog porque solo funciona en explorer... además vas a conseguir muy poca ayuda, al menos en este foro porque la mayoría de los que acostumbramos responder, consideramos que las preguntas son orientadas a que el código funcione en todos los navegadores.
Si te animas a reconsiderar tu código cambiando de ventana, te ayudaremos con gusto (tal vez vea el tema alquien que pueda ayudarte, pero piensa en el cosejo)
Saludos