Hola:
En una ventana modal no creo que puedas poner un form (las verdaderas ventanas modales son alert, confirm y prompt... ya lo he dicho en numerosas ocasiones, y puedes confirmarlo en la wikipedia, pero fuera de la polémica, si se trata de enviar datos desde un popup (que supongo que es lo que consideras modal), pues debes usar un target con el mismo nombre (atributo name) de la ventana (creo que lo puse en las FAQs), pero en tal caso refrescarías la página perdiendo lo que hubiese, si lo que quieres es otra cosa, indícalo mejor...
Saludos
