Como lograr este efecto

[sanxuan]

Tú mismo has dicho cómo funciona. La página pasa a un segundo término de modo que no se pueda usar.
Para el oscurecimiento hay dos maneras habituales. Usando una imagen transparente (un .png) o usando las propiedades de transparencia que algún dia llegarán a ser estándar.
Sobre esa capa que ocupa toda la página o dentro de ella situamos la ventana emergente que no deja de ser otra capa más con el contenido que desees. HTML y CSS (con un poco de Javascript para cuando pinchas en los controles) serán suficientes.