Holas;
 
Debes manejar el uso de capas como por ejemplo "div" o "span", ejemplo: 
<span id="win"></span> 
Cuando envias la petición y respuesta por ajax, lo envias a estas etiquetas y por css o en la misma respuesta en ajax posicionas y muestras tu ventana, así tengo un sitio con venta predeterminada:  
 Código PHP:
            if(readyState == 4)
        {
          with(conte.style)
          {
            display = "";
            position = "absolute";
            left = 380;
            top = 150;
          }
          conte.innerHTML = responseText;
        } 
    
  En este otro dependiendo de las opciones las propiedades de posicionamiento y tamaño la envio dentro de la misma respuesta en ajax:  
 Código PHP:
            if(readyState == 4)
        {
          cadena = responseText;
          ind = cadena.split("|");
          var lft = parseInt(ind[0]);
          var tp = parseInt(ind[1]);
          with(conte.style)
          {
            display = "";
            position = "absolute";
            left = lft;
            top = tp;
          }
          conte.innerHTML = ind[2];
        }
      } 
    
  nos vemos.