Hola:
Creo que si pides que te den una mano, la más importante ayuda que se te puede dar es aconsejarte que no usas showModalDialog, ya que es propiedad de microsoft, no estándar, y solo lo podrán usar los que usen alguna variedad de explorer... creo que un window.open va a ser tan eficaz que lo que usas y con el tiempo (ya) los usuarios de la red serán mucho más "variados" con el uso de navegadores... y otra cosa muy, muy importante, es que la mayoría de los webmasters trabajamos para todos los navegadores y por consiguiente no implementamos el método que estás usando, así que es más difícil conseguir ayuda (en mis comienzos también usaba los behaviors... ;pensando:)
Saludos
