Bueno, vamos a torear al navegador y listos, vamos a hacer que a fin y al cabo sea la ventana padre (top) la que abra la popup y sanseacabó
A tu página de iframes (la madre) ponle esto
<script language="JavaScript" type="text/javascript">
function ventana(){
miventana = window.open('','miventana','width=200,height=200')
}
</script>
Al link que debe abrir la popup ponle....
<a href="#" onclick="top.ventana();return false">abre popup </a>
Y para cerrar desde el otro iframe...
<a href="#" onclick="top.miventana.close()">cierra
popup </a>
Eso funciono a pesar del form
puedes probarlo en marcha en el mismo sitio que antes
http://www.tunait.com/pruebas/iframes/iframes.htm