Hola:
Con formularios correctamente declarados y usando un botón submit (lo correcto), solo necesitas declarar en la etiqueta form un atributo target distinto de _self... lo más aconsejable es _blank, aunque si quieres que la ventana tenga caracteríasticas especiales, haz una búsqueda en las FAQs... la nº 100 es sobre características de la ventana, y hay otra (creo que la 177) que puse yo mismo sobre enviar formularios a ventanas popup.
Saludos