Hola:
Los JFrame y JDialog son ventanas y no se pueden añadir dentro de otros componentes. No puedes meter un JFrame dentro de nada. Un JDialog, en el constructor, admite un padre (un Dialog, Frame o Window), pero eso no quiere decir que se meta dentro del padre, solo que ese JDialog no se va a poder ir detrás del padre.
Si lo que quieres se parece a esto
http://www.java2v.com/Tutorial/JavaI...tyleSample.PNG , lo que necesitas es un JInternalFrame
http://chuwiki.chuidiang.org/index.p...JInternalFrame
Se bueno.