brak3n si pones el trozo de código seguro que será más fácil para todos ayudarte. Es que no debería tener mucho misterio en principio.
De todas formas yo en el curro tuve que trabajar con <audio> y tuve varios problemas, uno de ellos con la extensión. Para IE y Safari les pasé un .mp3 y para FF y Chrome les pasé un .ogg
Luego a parte según la tecnología aceptada por el navegador, le pasaba un <audio> de HTML5 y usaba un pluggin Modernizr; o le metía un <embed>, todo desde el fichero de JavaScript, así que el primer paso sería quitarlo del HTML y añadirlo desde ahí (de esta forma, si en FF no quieres añadirlo, no lo haces), aunque puedes hacer varias pruebas antes para intentar que funcione bien.
Te paso mi trozo de código referente a añadir el audio por si puede servirte de ayuda y probar más cosas:
Código PHP:
if(navigator.userAgent.indexOf("MSIE")!=-1 || navigator.userAgent.indexOf("Safari")!=-1){ // Si és IE o Safari
var extensio="mp3";
}else{ // Si és FF o Chrome
var extensio="ogg";
}
if (Modernizr.audio){ // Para los q soportan Modernizr de HTML5
window.so=new Audio('ruta_a_tu_fichero/fichero.'+extensio);
window.so.controls=1;
window.so.id="audioElement";
$(window.so).appendTo("#audio"); // Ponle el id="audio" al <li> que contiene tu audio
window.so.play(); // Autoplay
}else{ // Para los que no soportan HTML5 como IE8 e inferiores
$('<embed src="ruta_a_tu_fichero/fichero.mp3" style="height:42px; width:200px;">').appendTo('#audio'); // Es mp3 pq creo que el <embed> con el OGG no iba
}
PD: Hay que incluir el fichero JS de
Modernizr en el <head>, antes que tu fichero de JS claro