Muchos servidores no sirven bien los tipos MIME de los archivos .ogg —o no los sirven directamente. Y para Firefox supone un problema.
Basta con añadir a la configuración de Apache —normalmente mediante el .htaccess— algo así:
Código Apache:
Ver originalAddType audio/ogg .oga
AddType video/ogg .ogv
AddType application/ogg .ogg
Es
la solución que dan en la página de desarrolladores de Mozilla.
Ya otra cosa sería que el archivo estuviese corrupto o similares.