Mira este enlace:
http://www.dynamicdrive.com/dynamici...ndow/index.htm
estas ventanas estan hechas mediante javascript y css, es decir, forman parte de la propia ventana, no crean una nueva.
En esa misma página incluso hay unas ventanas que son modales pero no bloqueantes, es decir, que te sacan una ventana en la que tendras que clickar pero que mientras dejan ejecutar código, algo así como lo que tu querías.
Salu2