Que tal,
 
Ok, solo debes colocar este JS entre los tags HEAD de la pag. html que aloja a tu .swf  
<script language="JavaScript"> 
<!--
function abrir_popup(url) { 
var param="top=0, left=0, toolbar=no,location=no, status=no,menubar=no,scrollbars=no, resizable=no, width=400,height=400" 
var titulo="Titulo"
window.open(url,titulo,param); 
}
//--> 
</script>  
Luego haces el llamado desde tu btn en Flash asi: 
on (Release){ 
   Get URL ("javascript
:abrir_popup('tu_popup.html')");
}  
Puedes jugar un poco con la variable "param" para que veas el resultado... 

  no=desactivado  -  yes=activado 
Salu2.