Si entiendo bien tu problema, es que al querer abrir una ventana modal se abre dentro del marco y no dentro de la pagina (que es lo que quieres). Pues es lógico ya que estas abriendo el div (modal) dentro de la pagina que contiene el iframe y no en la pagina principal. Pues que yo sepa no hay forma de darle a un href un target="_parent"
, así que para mi la solución es AJAX.
Espero haber acertado a tu problema.