Hola:
Las ventanas modales son alert, prompt y confirm, y evidentemente no reciben formularios... no sé quién se inventó que las ventanas que dices (lightbox) es una ventana modal, pero es un error, y cuando preguntas teniendo conceptos erróneos es difícil responder... sobre los destinos de los formularios, fuera de la propia página, pueden ser cualquier tipo de objeto window (popups, frames, iframes...), así que si dentro de tu lightbox puedes poner un tag iframe, entonces puedes hacerlo (si puedes poner cualquier etiqueta como un div, img, p... puedes poner un iframe... entonces el formulario debes enviarlo a una página que lo procese (html clásico), con un target igual al nombre que le des a ese iframe.
Saludos
