[SOLUCIONADO] Deberia usar uno o dos servidores

[DarkerTV]

Hola, estoy desarrollando una aplicación la cual usando PHP, node.js y socket.io realizó subidas de vídeos al servidor para posteriormente procesarlos.

Con procesarlos me refiero a que el video (el cual será aproximadamente un vídeo de 23 minutos, con un bitrate de 2000-3000 y una resolución de 1920x1080) usando ffmpeg en node.js será transformado en otros 4 vídeos (a 240, 360, 480 y 720 respectivamente) y después los 5 vídeos serán subidos a s3 de amazon y eliminados del servidor.

Ya he hecho diversas pruebas y me encuentro con que en el momento de transformar los videos el uso de la CPU llega al 95% y el gasto de RAM se dispara, por lo que he pensado 2 posibles soluciones para que los usuarios no noten que el servidor está funcionando lentamente.

1° - Aumentar los recursos del servidor y que todo siga funcionando en el mismo sitio, esperando que de esa manera no se note ese inmenso uso de los recursos por ffmpeg.

2° - Trasladar toda la parte del procesamiento de vídeos a otro servidor aparte y enviar el vídeo del servidor 1 al 2 para procesarlo en el 2.

Si alguien tiene una idea mejor para la realización de lo que quiero hacer estaría muy agradecido de que la publicase.

Gracias por leer mi duda y que tenga un buen día.

[CoriaWeb]

Pues en realidad creo que lo correcto si tiene muchísimo consumo es independizarlo, pero vamos, que si coges otro servidor más potente que pueda con todo tampoco esta mal, sólo que si puede ser notado .

Saludos!

[DarkerTV]

Al final hablando con el soporte de Digital Ocean he decidido aumentar la potencia del servidor y usando cpulimit limitar el proceso cuando es lanzado desde node.js usando exec al 75%. De esa manera tengo mas control sobre el proceso que si lo tengo en otra maquina.

Gracias por tu respuesta CoriaWeb.

[CoriaWeb]

Claro, pero al final sigues teniendo un uso intensivo.. si tienes un servicio cloud ¿Porque no creas dos instancias diferentes y ya esta?

Saludos!

[DarkerTV]

Ahi tienes razon, pero si quiero hacer eso se me presenta un pequeño problema, yo subo el archivo al servidor 1 mediante node.js y socket.io, entonces como envío la información del vídeo más el mismo vídeo al servidor 2 y después vuelvo a enviar la información del procesamiento com ffmpeg del 2 al 1.

[DarkerTV]

Es importante que el proceso sea completamente automático, y que se envíe la información del vídeo después de enviar el vídeo.

[CoriaWeb]

Pues eso ya se me escapa un poco de las manos, para eso tendría que consultarle a los técnicos del servidor, pero vamos.. con lo que yo se de servidores "que es poco" porque para eso están los técnicos jejej la copia de archivos de un servidor a otro podrías hacerla mediante rsync y algún cronjob o algo.. consúltalo a tu proveedor haber que opciones te dan.. Si el servicio que tienes es administrado deberían de ayudarte.

Saludos!

[DarkerTV]

Mi servicio no es administrado, me dan algo de soporte pero me tengo que buscar yo la vida, he estado investigando un poco y puedo usar una librería de rsync como bien has mencionado y una clave ssh sin contraseña y cuando el rsync se haya completado enviar un post servidor 2 indicándole que procese el archivo, o incluso usando redis.

[WebTech]

Iniciado por DarkerTV

Mi servicio no es administrado, me dan algo de soporte pero me tengo que buscar yo la vida, he estado investigando un poco y puedo usar una librería de rsync como bien has mencionado y una clave ssh sin contraseña y cuando el rsync se haya completado enviar un post servidor 2 indicándole que procese el archivo, o incluso usando redis.

Tenemos clientes que procesan vídeo de forma parecida. Lo ideal si te da el presupuesto es:

1) Servidor para procesar ffmpeg, que se encargue enteramente de la conversión, es lógico que te consuma casi toda la CPU, prueba hacer menos conversiones en paralelo a ver si baja un poco.
2) Servidor para hospedar/servir videos.

Para sincronizar la carpeta donde se convierten los vídeos con el server 2 puedes hacerlo via rsync con llaves públicas, si es por red interna entre los servidores mejor.

Otra solución es usar lsyncd, que funciona de maravilla para replicar contenido entre hosts.

Un saludo,