Hola:
Aunque lo plantees con matices, las ventanas emergentes o popups son cosa javascript, y no parece que Ajax te pueda servir (al menos sonsiderando Ajax como el uso del objeto XMLHttpRequest o un iframe oculto o disimulado)...
Con los popups normales ni recargas la página ni necesitas de frameorks... te paso un enlace para abrir el popup:
Formularios y enlaces dirigidos a ventanas correctamente, y para la comunicación con la página principal, en vez de buscarlo, te comunico que la ventana popup se cominica con su abridora por medio del objeto opener...
Si tienes problemas en tus pruebas, avísanos.
Saludos