Hola, no es posible lo que planteas, deberìas tener los jdialog para aquellos que quieres que sean modales, y en el jframe principal hacerlo mdi, o sea con un jdesktoppane y con jinternalframe en vez de jdialog.
Si necesitas màs ayuda acerca de còmo hacer esto que te comento avisa.
