mmmm bueno.
si lo vas hacer en modo casero necesitas una distribución de linux, sea Centos (para servidores) o algo mas amigable por decirlo; Ubuntu.
Después de eso necesitas un script sea en php o Cgi, segun lo que encuentres, para que te maneje los videos y eso como en la pagina de youtube.... algo parecido a youtube es el
OsTube. lo instalas donde tengas la distribución, configuras y ahí lo tendrás.
debes saber sobre apache y comandos en linux para hacer las respectivas instalaciones de los requerimientos del script (segun cual uses). hay otros script que lo que hacen es cojer los videos de youtube y ponerlos en nuestra pagina, de esos ahí varios. es cuestión que busques.