Si es proyecto personal, lo mejor que puedes hacer es descargarte
Any Audio Converter y convertir tus videos a MP4, no tienes que ir de uno en uno, puedes arrastrarlos todos y dejar tu PC trabajando unas cuantas horas en la conversión.
Aparte de poder usar la etiqueta
<video> también vas a reducir considerablemente el tamaño de los archivos, sin afectar tanto la calidad, por lo que la reproducción será óptima.