mde2523,
No entiendo muy bien que intentas hacer...pero si tienes un problema en que se abre una ventana nueva al oprimir 'ENTER' en una modal...intenta añadir este código en tu ventana modal.
En el <FORM de tu modal...
Código:
<FORM name=mimodal onSubmit="return false;">
Este vínculo quizás podría ayudarte...
http://www.forosdelweb.com/showthrea...hreadid=110083
Espero te sirva, sino...por favor danos mas detalles para poder ayudarte.