Lo intenté una vez y me daba acceso denegado . Prueba a firmar el Applet ...
Pero si fuera tú , ponia una capa con html ( <div ... ) donde me interesara cerca de el Applet (si la pones encima no se verá), insertaba un botón en la capa y con JavaScript conseguia que se cerrara el navegador.
Código HTML:
<body>
<p>
<applet width="494" height="162" code="prueba.class">
</applet></p>
<div style="position: absolute; width: 60px; height: 27px; z-index: 1; left: 17px; top: 174px" id="capa1">
<input type="button" value="Cerrar" name="B3" onclick="cierra()"></div>
<script>
function cierra(){
var ventana = window.self;
ventana.opener = window.self;
ventana.close();
}
</script>
</body>