Mira.. si lo quieres hacer desde un applet.. no estoy muy seguro pero recuerdo que tenía que crear un panel y dentro de él crear un boton y un frame para simular que era una ventana..(dialog)
Creo que aqui puedes encontrar un buen ejemplo para que te des una mejor idea.
http://www.rgagnon.com/javadetails/java-0242.html
Saludos
