podrias colocar en el submit lo siguiente
eso si es que abriste el popup con windows.open.
si lo que muestra el formulario es un div, basta con destruirlo u ocultarlo.
Código html:
Ver originalonsubmit='document.getElementById("tuDiv").style.display="none";'
espero te ayude.