hola
no se puede ocultar el boton X, pero si se puede ocultar todo la barra
Código java:
Ver original dial.setUndecorated(true);
dial.setLocationRelativeTo(null);
dial.setSize(500,500);
dial.setVisible(true);
tambien puedes utilizar el componente JWindows
saludos