Eso solo funcionaría en IE9, Safari y Chrome.
Tenés que asegurarte también que el servidor esté enviando los mimetypes correctos.
AddType video/mp4 .mp4 Para mp4
Descargate el pack de videos de prueba desde aqui
http://foros.emprear.com/html5/video_local/video.html
SAludos