Buenos dias
En la documentacion de html5 dice
Dynamically modifying a source element and its attribute when the element is already inserted in a video or audio element will have no effect. To change what is playing, just use the src attribute on the media element directly, possibly making use of the canPlayType() method to pick from amongst available resources. Generally, manipulating source elements manually after the document has been parsed is an unnecessarily complicated approach.
El texto anterior nos dice en pocas palabras
Una vez que el documento a cargado, cualquier modificacion a los elementos <source> no tiene efecto, si quieres cambiar la cancion/video se debe hacer a travez del atributo src de los elementos media(audio/video)
Asi que debes usar el atributo src del elemento <audio>
Tambien te recomendaria que no uses JQUERY te lo digo por experiencia propia, me daba problemas en chrome
salu2