Hay varios estilos de ventanas pop up completamente diferentes a las normales
se suele llamar " cromeless " prueba la busqueda en google.
ademas de lo que dice orchabel
y como por ejemplo esta
http://www.tutores.org/tutores/code/...5&ScriptID=687
la cual abra la ventan si ningun tipo de marco, navegador etc...
saludos