Ten claro una cosa, si se pueden descargar los vídeos de Youtube, los tuyos también, así que despreocupate de este tema porque hagas lo que hagas, lo van a poder hacer.
Puedes realizar una búsqueda en Google con el término "
HTLM5 player" y verás muchos frameworks, de todas formas, el primer resultado es
videojs.com.