Entonces casi mejor que incluyas la apertura de la pop-up en el script que submite el formulario
Si al final está todo ok te hace un form.submit()
Te sugiero que incluyas delante la línea que abre la ventana
algo así
if(todo destá bien)
{
popup= window.open("","popup"," toolbar=0,location=0,directories=0,status=0,scroll bars=0,resizable=0,menuBar=0,width=300,height=200, top=50,left=100");
document.formulario.submit();
}
y a tu form le dejas simplemente el target="popup"