Generalmente cuando se tiene problemas en la carga de un sitio web, no suele ser problema de una sola cosa, sino una acomulacion de malas practicas.
por ejemplo
- imágenes muy grandes o pesadas (me encontre un cliente subiendo fotos de 55 megas)
- imágenes en formato incorrecto - hay fanaticos del PNG que no saben que ese formato es el peor que puedes usar cuando se trata de fotografias.
- librerías javascript en exceso - por ejemplo hay gente que se aferra a jquery cuando puedes hacerlo con vanilla
- uso de videos como background - mala idea siempre sera mas lento que una imagen
- css innecesario
- y muchos otros motivos pueden afectar, se tiene que hacer una revision completa al sitio.
Para el tema de tu video, usa el que mas te plazca lo que si es que no lo cargues directamente en tu sitio, en su lugar usa una imagen estática y cuando termine de cargar tu sitio ahora si con javascript carga el video, de esta forma sera mas rápida la carga
Edito
Algunos sitios que te pueden ayudar a revisar que problemas tienes en tu sitio
https://gtmetrix.com/ https://developers.google.com/speed/...nsights/?hl=es
Trata de conseguir la mejor calificación posible.