Yo una vez publiqué una posible solución a eso que planteas, eso se llama ventanas modales. A mi me funciona al 100%, se trata de guardar una referencia de la ventana abierta y preguntarle al onfocus del padre si esa referencia es distinta de null y si no entonces darle el foco a la referencia. Si quieres me envías un PV con tu dirección electrónica y te mando el ejemplo corriendo y comentado.
Por cierto, me ha funcionado en Mozilla, Firefox, IE, y Netscape
