Hola:
Usar Ajax y abrir ventanas modales son cosas distintas...
No sabía que showModalDialog no funcionase bien en todos los navegadores (al principio era cosa del explorer)
Sin saber para que usas esas ventanas no es fácil responder, pero si tienes que abrir una url puedes usar ventanas popup o iframes...
Es relativamente fácil simular ventanas (no modales) con un iframe. Lo de "no modales" es porque según nos cuentas no estás tratando auténticas ventanas modales, que por definición detienen el flujo del código hasta que son cerradas (es una polémica aparte).
Saludos
