Un applet no debería cerrar el navegador que lo contiene. Es una "falta de educación" hacia el usuario, puesto que el applet es solo un programilla que se ejecuta en el navegador, el cual podria estar siendo usado por el usuario para otras cosas.
Si la idea es cerrar el applet una vez terminado de usar, se muestra el applet en un JFrame aparte y se cierra ese JFrame.
Si la idea es cerrar la ventana/tab donde esta applet, se crea esa ventana con JavaScript se cierra con JavaScript.
Si un applet me cierra el navegador lo llevo al paredón
