Servidor dedicado para streaming de vídeo ¿qué características?

[beesop]

Hola, tengo un cliente de una productora de vídeo que está colgando actualmente sus vídeos en Youtube pero quiere tener un mayor control sobre sus contenidos y ha pedido presupuesto para migrar toda su videoteca a un servicio privado. Hemos estado mirando servicios del tipo Mediastream, Brightcove, Ooyala, Viddler, Vimeo PRO etc... pero todos salen muy caros para consumos de tráfico elevado.

Creemos que lo más conveniente y económico quizá sería tener un servidor dedicado, pero a la hora de escogerlo no sabemos muy bien qué características debería de tener para cubrir nuestras necesidades:

-Vídeos de unos 3.5-5min que cada uno ocupa en disco 150-250 MB (actualmente unos 20 vídeos que crecen a un ritmo de 4-5 al mes)
-Calidad máxima de los vídeos 720p
-Reproducciones 250.000-300.000/mes (unas 8-10.000 al día)

Nuestro problema principal radica en el flujo de vídeo (cuya calidad oscilaría entre 360p-480p-720p). esto influye en las características de la máquina (CPU, RAM...) y sobretodo en el ancho de banda para que un grupo de usuarios puedan reproducir simultáneamente y finalmente en el límite de tráfico mensual, dado que la cantidad de datos a transferir es importante.

Y ahora las preguntas:

1-¿Aparte de servicor dedicado se os ocurre alguna otra fórmula de gestionar el vídeo que no sean las citadas? ¿Es esta en realidad nuestra mejor opción?
2-En función de estos datos ¿Qué características de servidor me recomendáis?
3-En caso de decantarnos por el server dedicado ¿conocéis algún soft para gestionar el vídeo? Alguno con opciones multi-streaming como hace Youtube para ahorrar ancho de banda, si existe sería genial.

Muchas gracias de antemano y saludos
PD: si os falta algún dato, pedid y se os dará

[Datacenter1]

Probablemente el mayor inconveniente que encontratras será la transferencia necesaria que va a rondar por unos 60TB/mes

Un solo y potente servidor wowza podrá con eso o puedes colocar dos o mas en cluster

Wowza es muy eficiente con el CPU algunos de mis clientes superan los 3000 usuarios simultáneos con modesto hardware (i5-2500) pero es live streaming, para streaming bajo demanda sugiero que utilices discos SSD ya que aparentemente no requieres de mucho espacio

Hay dos proveedores que me vienen a la mente para semejante cantidad de transferencia que requieres, uno es 100tb.com y el otro es fdcservers ambos son probablemente los mas económicos pero tienen sus pros y cons

Si el dinero no es problema, mi setup sería algo así

1 linea dedicada 1 gbps (solo vas usar como el 30% pero no se como son tus picos)
1 Servidor E3-1270 Ivy Bridge 32 GB RAM (mucha ram para caches y buffers)
4 Discos SSD 256 GB RAID en raid 10 dependiendo de que tan importante es la data, que tan fácil es restaurarla desde backups y que tan importante es la disponibilidad
Servidor Wowza bajo Linux

Este setup aguanta lo que quieres y más

[beesop]

Hola, ante todo muchas gracias por tu pronta respuesta
Me surgen ahora un par de dudas al respecto:

1.-¿Cómo calculas el tráfico consumido de 60TB? Es algo que por más que lo intento cada vez me sale una cosa distinta porque no se muy bien como calcularlo.
En cualquier caso me resulta muy curioso que las empresas de streaming que te calculan el consumo de servidor en horas de vídeo, en sus equivalencias a tráfico consumido (TB) las cantidades siempre son mucho más reducidas que en nuestros cálculos. Te pongo 2 ejemplos para ilustras esto que te comento:
-LongTail: para 20.000 horas estiman máximo 5TB de tráfico - [URL="http://www.longtailvideo.com/bits-on-the-run/pricing/view-rates/"]ejemplo 01[/URL]
-MultiStream: para 30.000 horas estiman tb unos 5TB de tráfico - [URL="http://www.multistream.tv/servicios-de-streaming-progressive-tarifas-pro.html#multistream"]ejemplo 02[/URL]
En el caso de mi cliente el consumo máximo mensual sería de unas 25.000 horas (300.000 plays x 5 min / 60), osea que según estas empresas con unos 5TB/mes tendría suficiente. ¿Por qué será esto? ¿estoy interpretando mal los datos o es que nos engañan? ¿Es posible que esto se deba a que el software de servir vídeo permita varias calidades (tipo Youtube) y esto suponga un ahorro tremendo de tráfico?

2.-Por otro lado he estado mirando la configuración que me propones pero en las empresas recomendadas no puedo personalizar sus paquetes básicos (solo te permite ampliar pero no sustituir elementos). Seguiré buscando pero si alguien me puede recomendar alguna otra empresa que piense que pueda encajar le estaré muy agradecido.

Disculpa si me he alargado mucho, quería explicar bien el primer concepto.
Muchas gracias de nuevo y saludos.

[Datacenter1]

La verdad mi cuenta de transferencia fue una simple multiplicación a vuelo de pajaro y viendo ahora con más detalle la cuenta esta errada (mis disculpas por el error)

Para calcular el ancho de banda lo primero que tienes que saber es cual será el bitrate de transmisión para una calidad aceptable probablemente sea alrededor de 500 kbps, con este dato y sabiendo la longitud en segundos del video es facil determinar cuanta transferencia requiere para ver un video, ejemplo 500 kbps x 300 = 150000 kb lo dividimos entre 8 para llevarlo a Kb y luego lo dividos entre 1024 para llevarlo a Megabytes = 18 Megabytes por video ahora multiplica esto por la cantidad de visualizaciones por dia 18 Mb x 10.000 = 180000 Mb, lo volvemos a dividir por 1024 para llevarlo a Gigabytes y nos da ~174 Gb por dia

Por lo que es cierto que requieres de un poco mas de 5TB/mes

Debido a que la transferencia requerida es apx el 10% de lo que inicialmente te había indicado, los requerimientos de hardware pueden bajarse un poco, cualquier moderno quadcore con 8Gb o mas y disco SSD podrá con esa carga

Ya con estos requerimientos tienes muchas más opciones a escoger, cualquier proveedor de dedicados decente podrá cumplir con esto

[Datacenter1]

La cuenta de arriba es mas como para live streaming que para streaming bajo demanda, si tus videos miden de 150 a 250 Mb probablemente están hechos a una alta calidad y debas recodirficarlos o colocarlos a bitrate variable, Wowza permite hacer esto pero deberas subir el video precodificado en diferentes bitrates (hasta donde yo conozco)

[beesop]

Muchas gracias Datacenter1

Es cierto que los vídeos en su versión "Master" ocupan unos 250 MB en disco y su bitrate es de 8.000 kbps pero evidentemente pretender servir esto online es una locura. Los hacen así porque Youtube permite subir este archivo con alta calidad y luego es el sistema de YT quien se encarga de recodificarlo a distintos bitrates. Esta recodificación de YT en su versión de mayor calidad (720p) ocupa el archivo unos 65 MB y tienen un bitrate de unos 2.000 kbps, sin embargo muchos de los usuarios de YT no le dan al botón de HD y por defecto consumen a una calidad y bitrate muy inferior.

En cualquier caso si como media podemos estimar que los vídeos consuman unos 1.000 kbps, entonces según tus cálculos en lugar de 5TB serían algo más de 10TB, creo que todavía es algo relativamente asequible en cuanto a servidor y tráfico ¿no? ¿o quizá debería de subir proporcionalmente alguno de sus elementos (cores, RAM...)?

Con respecto al SO y software a utilizar, estoy mirando algunas opciones con lo que se llama "HTTP Dynamic Streaming" o con soporte "multibitrate" que es precisamente esa tecnología de YT que permite variar la calidad del vídeo para adaptarse al ancho de banda del cliente y también adelantar el vídeo a cualquier punto sin necesidad de cargar todo el vídeo secuencialmente en el bufer como ocurría antes.

Sigo investigando y os cuento, si aún así alguien conoce una forma más rápida/sencilla/económica de servir streaming de vídeo se agradecerá cualquier ayuda.

Saludos y gracias de nuevo Datacenter1

[Datacenter1]

Dale un vistazo a Wowza http://www.wowzamedia.com soporta HTTP Dynamic Streaming

Otra opción sencilla y económica es con Windows Media Server

[beesop]

Ok gracias de nuevo Datacenter1,

Estoy estudiando la opción sugerida que sería un servidor básico de 100tb.com con los discos en RAI0 con el wowza server 3 instalado y luego probablemente aún necesite una licencia de un player (JWplayer probablemente) para mostrar los vídeos (con opción de meter publi, por requerimientos del proyecto) en la web.

Servidor 200$
+ RAI0 50$
Licencia wowza mensual 55$
Palyer (pago único 238€) + 25€ (amortización couta anual de los plugins)

Total gasto redondeando aprox 250€ primer pago + cuota mensual de 300€
No está mal la cosa, aunque opciones de servicio de streaming para nuestras necesidades rondan los 400-500€, el servidor nos sobra y nos permite crecer mucho sin necesidad de ampliar, bueno al menos sobre el papel...

Ahora tengo una pequeña duda, ¿qué SO escojo para el servidor sobre el que irá instalado el wowza? Supongo que preferible un Linux, pero con tantas opciones me pierdo un poco, desde tu experiencia que crees mejor opción:

CentOS 5.7 Add $0
CentOS 5.7 crs Add $0
CentOS 5.7 manual partitions Add $0
CentOS 5.8 Add $0
CentOS 5.8 crs Add $0
CentOS 6 Add $0
CentOS 6.1 Add $0
CentOS 6.2 Add $0
Citrix Xenserver 5.6 Add $0
Debian Squeeze Add $0
Fedora 14 Add $0
Fedora 16 Add $0
FreeBSD 8.2 Add $0
FreeBSD 9 Add $0
OpenSuse 11.4 Add $0
Proxmox VE Add $0
Scientific Linux 6 Add $0
Ubuntu 10.10 Add $0
Ubuntu 11.04 Add $0
Ubuntu 11.10 Add $0
Ubuntu 12.04 Add $0
VMware ESXi 4.1 Add $0
VMware ESXi 5.0 Add $0
Windows Server 2008 32 bit SP2 Standard (Full Installation) Add $0
Windows Server 2008 R2 Standard (Full Installation) Add $0
Hide Options

Gracias de nuevo, un saludo.

[Datacenter1]

Wowza trabaja tanto con Linux como windows, personalmente prefiero Linux (Centos 6.X) pero es porque conozco más esa distro, probablemente lo mejor sea escoger el SO con el que se sienta mas cómodo la persona que va a administrar el sistema

[palcaraz]

Hola, estoy buscando información sobre el mismo tema y quería preguntaros que os parece utilizar Amazon Web Services, pago por uso, potencia ilimitada, pero no se en la práctica que tal será.

Y aparte de esto, el software para este tipo de proyecto, el servidor lighttpd es adecuado para servir los videos en streaming?

Gracias