... desde dónde intentas cerrar la ventana??? si es desde la misma página que la llamaste.. creo te hacen falta parámetros en tu window.open() (si esque lo pones tal como aquí)... creo funciona así:
window.open("url", "nombre", "características");
y window.close() debe hacer referencia al nombre de la ventana...
... qué abres en el pop-up?? el archivo directo? ó una página que lo contiene???... lo digo por si pretendes cerrar la ventana desde ella misma... de ser así creo que tendrás que crear un iframe donde estará tu archivo abierto y fuera de él la función window.close()
Se que no soy muy exacto en mi respuesta pero JavaScript no es mi tema.. de hecho ni deberia atreverme a contestar
... núnca he usado esto así que es solo teoriá ...
Suerte!