Hola 
brak3n 
Puedes hacer un IF en javascript que compruebe si es Firefox (y/o Safari) antes de ejecutar o crear la etiqueta <audio> 
Con 
window.navigator.userAgent obtendrás información sobre el navegador del cliente. Sólo tienes que hacer algo del estilo:  
 Código PHP:
    if( window.navigator.userAgent.indexOf("Mozilla")!=-1 ){
     // Desactivo audio
} 
    
  Ojo porque la información devuelta es extensa y Mozilla no te garantiza que sea Firefox, ya que por ejemplo Internet Explorer 9 devuelve esto: 
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.1; .NET4.0C; .NET4.0E; InfoPath.3) 
Lo mejor será que pruebes los distintos navegadores y encuentres las palabras únicas que lo identifiquen. 
Espero que te sirva, saludos!