Un reproductor gratis y muy eficiente:
http://www.videolan.org/vlc/
Y otro más cool
http://www.jetaudio.com/download/
Pero estos son para descargar y reproducirse externo al navegador.
Para que sea dentro del navegador, con la etiqueta video necesitas recomplrimirlo en un formato compatible.