Hola:
Seguro que no se trata de una ventana modal, porque éstas (las verdaderas ventanas modales), no tienen esa característica (son alert, confirm y prompt)...
Lo que se hace en estos casos es o un bucle infinito hasta que se teclee algo correcto, o directamente validar y redirigir según el resultado... lo que pienso que debes buscar son temas sobre validaciones, que en estos foros hay muchos.
Saludos
