Hola:
Como has comprobado, redimensionar las ventanas puede ser problemático, ya que los resultados dependen de los navegadores... para mozilla puedes asignar los valores con window.innerWidth/window.innerHeight, pero si se trata de una imagen, creo que es mejos averiguar primero sus dimensiones... si las conoces, ponerla directamente en el tercer parámetro de window.open(), y sin no lo conoces, lo puedes obtener prevargando la imagen...
Pop-up del tamaño de la imagen automaticamente
Saludos