El metodo para abrir un popup y ke puedas pasar datos entre el mismo y su parent es el sig:
La ke manda hablar el popup:
<html>
<script>
function abrirModal(){
retorno = showModalDialog("modal.html", "_blank", 'dialogWidth:480px;dialogHeight:640px;dialogTop:75 px;dialogLeft:125px;status=no');
alert(retorno);
}
</script>
<body>
<a href="javascript
:abrirModal();">prueba</a>
</body>
</html>
El popup
<html>
<body>
<a href="#" onclick="javascript
: parent.window.returnValue='Hello world'; window.close(); ">Llamada a retornar</a>
</body>
</html>
Saludos