programa el boton que muestra al menu, para que cuando le hagas un rollOver ,pase a otro frame donde va a aparecer el menu, luego en este frame haces otra capa que este por debajo de los botones del menu, en esta pones un boton invisible, por ejemplo un rectangulo que rodee a todos los botones del menu, este boton sirve para que cuando coloques el mouse fuera del menu, estaras poniendote sobre el boton invisible el cual debes programar tambien en el evento rollOver, para que se regrese al frame donde el menu no está visible.
Saludos