Hola:
A pesar de que los object son los tags recomendados para "objetos", con respecto a la música, por mi experiencia puedo aconsejarte el tag embed, que he comprobado que funciona en todos los navegadores sin problemas, y para poner y quitar, otra cosa que he comprobado es que con los iframes es con los únicos elementos que he conseguido el efecto... puedes verlo en esta página:
Música en la web, en construcción porque tengo pendiente controlar el sincronismo.
Saludos