Mis respuestas:
0. WebRTC, digamos que es el
estándar para videoconferencias via Web y, de hecho, jitsi lo usa.
1. Investiga si jitsi cubre tus necesidades o te conviene más crear tus propios scripts.
2. Dependerá del software a utilizar, pero, definitivamente, vas a necesitar un servidor dedicado.
Hace algunos años hice algo similar y preferí desarrollar que usar herramientas de terceros; en resumen:
1. Utilicé PHP para gestión de usuarios y sesiones
2. Usé node.js para control de videoconferencias, principalmente para garantizar que solo los usuarios autorizados pudieran ingresar a cada sala y proporcionar listas de servidores ICE y STUN
3. Mi referencia para cada proyecto fue:
https://www.webrtc-experiment.com/
4. No usé librerías Javascript, no eran realmente necesarias
Con los ejemplos de webrtc-experiment puedes crear las videoconferencias "al vuelo", lógicamente con escasa o nula seguridad.
Edit:
Ahh, me olvidaba: Es obligatorio instalar certificados de seguridad en el servidor (SSL), de lo contrario, los navegadores no permitirán activar la cámara.
/Edit: