Para que no puedan enlazar archivos .mp3 de tu servidor desde otra web, hazte un .htaccess y lo metes en la carpeta donde los tienes. Su contenido:
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://(www\.)?tudominio.com.*$ [NC]
RewriteRule .*\.mp3$
http://127.0.0.1 [R,NC,L]