Hola:
Las ventanas emergentes se generan con la instrucción javascript window.open (es distinta a document.open), pero saber si está o no registrado es algo que con javascript no se debería saber, sino con algún lenguaje del servidor... además, con ventanas emergentes (popups), coorres el riesgo de que los sistemas anti-popup de los visitantes lo bloqueen

... tal vez te interese más una alerta... pero como ya te comenté, la cuestión creo que deberías de plantearlo desde el lenguaje que uses en tu server...
Saludos