Hola:
En principio solo existen tres tipos de ventanas modales: alert, confirm y prompt... y mientras no paren el flujo de eventos de la página no son modales (ver la wiki)
Sobre tu problema, es posible que debas repetir el proceso de inicialización de tu librería, ya que suelen chequear los atributos rel de los enlaces en la inicialización de la página, y las peticiones ajax son eventos distintos...
Otra cosa que me planteo es si la pregunta es sobre Ajax o de la librería... si piensas que es lo segundo, avisa para mover el tema, o repórtalo tú mismo)
Saludos
