Bueno, ya pude solucionar el problema, le agregué target="popup" y window.open, aqui esta el resultado..
<form name="form1" method="get" target="popup" onsubmit="window.open('', 'popup', 'width = 780, height = 540')" onSubmit="popup(this.action, 'popup',540,780); return false; " action="pagina2.asp">
y ya funcionó.. Muchas gracias por su ayuda!!! Saludos!!