Duda consumo CPU Ubuntu

[fbedia]

Buenos dias,

Tengo un servidor Ubuntu con LAMP corriendo para la página web.

Hay en una sección de la web en donde el usuario puede subir un fichero CSV y este se va recorriendo e insertando en la base de datos MYSQL una serie de registros...

El problema es que cuando se hace lo anterior, el servidor se ralentiza para el resto de usuarios... es decir, que si otra persona trata de acceder carga muy lentas las paginas.

En condiciones normales, si hago un comando "top" el servidor esta bien... todos los procesos con un consumo bajo... pero cuando se esta procesando el CSV el proceso mysql se pone al 99% como pueden ver en la siguiente imagen:



Una duda es si se puede hacer algo para que el proceso no se coma toda la memoria... y por otro lado si es normal que ponga "50% inact," (remarcado en rojo en la imagen)

Muchas gracias

[lauser]

Si por algo no me convence Ubuntu server es por su excesivo consumo, aun que se encuentre en reposo, Debian consume la mitad.
Como segundo punto presupongo que tienes instalado y bien configurado una cache de objetos, por ejemplo "memcached".
Y por ultimo tal vez deberías plantearte limitar un poco el ancho de banda, lo puedes hacer fácilmente con wondershaper.
Así:

Código BASH:

sudo apt-get install wondershaper
 

Lo configuras...

Código BASH:

sudo wondershaper <interfaz> <download> <upload>
 

Ejemplo (ojo en Kb).

Código Apache:

sudo wondershaper eth0 1000 300
 

PD: El inactivo es normal.

[Carlangueitor]

No creo que tenga que ver con el ancho de banda o problema de cache, si no que sem hace que estás haciendo tus inserts desde el CSV de una manera estremadamente ineficiente: insert por sinert en lugar de hacer un bulk insert (mandar todos de una sola vez).

Igual si quieres limitar el uso de CPU de un proceso lo mejor sería usar cgroups, puedes leer un poco de eso en este link: https://scoutapp.com/blog/restrictin...it-and-cgroups

Peeero, igual me suena a que en gneral tu arquitectura debería ser vejor si estás teneiendo ese tipo de problemas, de entrada tener la DB y la App en el mismo server no va a escalar como debe, justamente las DBs suelen usar muchos recursos y eventualment vas a afectar todo por tenerlos juntos.

[BrujoNic]

Opino parecido a Carlangueitor. ¿Cómo subes el archivo cvs a la BD? ¿A una tabla transitoria, a tablas que están siendo usadas por lo usuarios o qué? Me parece más tema de depuración de BD y no de utilización de recursos.

Con un sistema Open Source TVP, me pasaba algo similar tanto en Windows como Linux, cuando le programé respaldos automáticos en horas de poca clientela, pero eso hacía que la BD se pusiera totalmente lenta en los tiempos de respuesta. Así que tuve que crear el respaldo manual donde el usuario lo ejecutara y otros dos automáticos antes de abrir y cerrar caja, o sea, cerrado el negocio.

De igual forma te va a poner lenta la BD dependiendo de la forma en que estás haciendo el insert.