El problema es que va a tardar bastante en cargar la música... el explorador va a empezar a reproducir el mp3 cuando lo tenga 100% descargado. Asimismo, si quisieras que tu archivo pese menos podrias "convertirlo" en un mp3 de menor calidad e incluso pasarlo de stereo a mono, pero eso hace que la calidad baje muchísimo.
¡Pero no desesperes! Aún hay una forma en la que puedes hacerlo.
Consigues con reproductor mp3 hecho en FLASH y lo instalas en tu sitio configuro para que ni bien aparesca tu site empiece a descargar/reproducir.
El reproductor no va a esperar a que se baje todo el archivo para empezar a reproducirlo, sino que va a ir reproduciendolo a medida que se descarga... eso te va a ahorrar tiempo ;)
Y si no queres que se vea el reproductor, simplemente lo metes adentro de un <div style="display: none;">...</div>
Un saludo !