Hola:
Por definición, las ventanas modales no permiten acceder al resto de ventanas del sistema hasta su cierre, así que tanto alert, como prompt o confirm no se pueden abrir sin javascript... y sería discutible admitir las showModalDialog (nunca las he usado)...
Si hablas de otras ventanas no son modales (al menos puras), y tendrías que informarte, pero en el artículo que te presenté (que yo mismo escribí), se ve como se pueden abrir ventanas de forma accesible...
Sea la ventana que sea, debes enlazarla con el atributo href de un enlace... Ese enlace se puede cancelar y lanzar un script, pero dudo que para el SEO, cancelar enlaces sea buena práctica (en ese asunto hay gente más capacitada que yo para opinar)
Verás, lo que muchos consideran ventanas modales y no lo son, son las tipo lightbox, y no me extrañaría que sea la que tienes pensado usar, y si un lightbox puede mostrar una capa, esa capa puede tener un iframe, y tu enlace podría tener un target apuntando a ese iframe...
Saludos
