Hola
Hacer páginas web no tiene nada relacionado con un servidor, es exactamente igual que si tuvieras una tienda de electrodomésticos. Al menos tal y como planteas la pregunta, es decir, partiendo de poca experiencia. Lo cual no es ni malo ni bueno, solo es.
:)
Respecto al hecho en si de montar dicho servidor, como bien dices, es demasiado amplio, así que veamos.
Si quieres montar un servidor comercial, propio y no basado en algún plan de revendedor de alguna otra empresa, olvídalo. A menos que cuentes con el apoyo y ayuda de alguien que sabe lo que hace y de alguien con el dinero suficiente para hacer todos los contratos y adquisiciones necesarios (servidores, software, ancho de banda, ip's dedicadas, certificados de seguridad, etc).
Si quieres hospedar páginas de gente a quienes les has hecho páginas, lo mejor es que en cada caso contrates un alojamiento. Expandiendo esa idea y reduciendo costos, puedes contratar un servicio de revendedor en algún servidor en que confíes. Esta es la mejor opción para el 99% de la gente.
Si a pesar de lo anterior, sigues queriendo montar un servicio comercial de alojamiento, tienes material para leer por los próximos 12 meses y prácticas por los próximos ... años, pero como parece que tienes ánimo suficiente, te muestro una lista de elementos esenciales para empezar.
- Sistema operativo (mi recomendación en orden de efectividad final para lo que quieres) BSD, Linux, Solaris, Microsoft
- Seguridad del sistema
- Proxy
- Servidor web: Apache o IIS.
- Firewall: FW1, IPTables directamente, SmoothWall
- Lenguaje de servidor y su funcionamiento: Perl, PHP, ASP, etc
- Servidor de correo, SendMail, Xmail, Postfix, etc
Y esto es solo lo básico.
Suerte
Felicidad