Super gasto de RAM mysql

karlic0s · #1 (**permalink**) 03/06/2011, 05:46

Hola querida comunidad!

Tengo un problema que me está dando la vara y no logro solucionar sobre el consumo de RAM.

Resulta que he creado un bot que trabaja a través de ajax (por el momento, luego lo implementare en c) comprobando contenidos de mi bbdd mysql. Para ser exactos hace como 3 consultas por segundo.

Esto bot, como esta escrito en ajax, lo ejecuto con firefox, no da problemas, no pasa nada... Hasta que lleva un largo periodo de tiempo, me ha pasado en 16 horas de consumir 240mb a 1.5gb de ram, lo cual viene siendo un problema muy gordo.

¿Alguien sabría decirme por qué ocurre esto? Me caben dos posibilidades:

- El servidor (que sinceramente no creo que sea esto ya que si fuera se mantendría estable, en el valor que fuera)
- El número de conexiones con la bbdd (lo cual veo más fiable)

Si es esta última, ¿Podría solucionarlo con algún método de sql? ¿Tal vez con mysql_free_result o con mysql_close?

Gracias y un saludo

gnzsoloyo · #2 (**permalink**) 03/06/2011, 06:36

Cita:

Para ser exactos hace como 3 consultas por segundo.

Depende mucho de cómo está implementado el desarrollo de las consultas, pero hacer un sistema que haga 10.800 consultas/hora... a mi entender no sólo no es práctico, sino que recargaría inmensamente al servidor y a los recursos de hosting. Me parece que te pueden llegar a cancelar el servicio de hosting por exceso de uso...

Creo que deberías replantear la idea para que sea más eficiente.

karlic0s · #3 (**permalink**) 03/06/2011, 06:38

Cita:

Iniciado por gnzsoloyo

Depende mucho de cómo está implementado el desarrollo de las consultas, pero hacer un sistema que haga 10.800 consultas/hora... a mi entender no sólo no es práctico, sino que recargaría inmensamente al servidor y a los recursos de hosting.

Creo que deberías replantear la idea para que sea más eficiente.

Pero no deja de ser un bot indexador de contenidos y tiene que soportar ese nivel, alguna solución para este tipo de casos? Y si las consultas no guardan cache? podría funcionar?

gnzsoloyo · #4 (**permalink**) 03/06/2011, 06:51

Pregunta: ¿Qué es exactamente lo que haces con esas tres consultas?

karlic0s · #5 (**permalink**) 03/06/2011, 06:55

Cita:

Iniciado por gnzsoloyo

Pregunta: ¿Qué es exactamente lo que haces con esas tres consultas?

Comprueba si hay actualizaciones, de la id correspondiente, mira cual es la siguiente id para pasarla al ajax y ajax con esta nueva id manda al php, comprueba esta nueva id y repite el ciclo.

Entre medias hace una consulta que guarda nuevas actualizaciones en esas ids por las que pasa (esto lo hace bajo condiciones, es decir no lo hace siempre).

gnzsoloyo · #6 (**permalink**) 03/06/2011, 07:03

Por lo que entiendo quieres presentar la información en tiempo real. Si esa es la idea no me parece muy práctico hacerlo una vez por segundo.
¿No sería más práctico y liviano para el sistema hacer ese refresco cada 60 segundos o incluso cada cinco minutos?
¿Tan rápido cambia la información en esa base de datos que necesitas un sistema así?

huesos52 · #7 (**permalink**) 03/06/2011, 07:03

Cierras las conexiones cada vez que las abres?

karlic0s · #8 (**permalink**) 03/06/2011, 08:01

Hago un mysql free, debería hacer tambien el close? Estos metodos, a parte de para select, valen para insert, update y delete?

Y por último, debería decirle a mysql que no guarde cache? es que creo que el problema real va a estar ahí.

Sí, debe pasar con esa frecuencia, la base de datos tiene miles de contenidos

Y sí, podría pillarme un servidor mejor, pero aún así tendría que optimizar todo esto para que funcionara en condiciones, de todas formas, no depende de esto, ya que no gasta mucho, sino que sube. Por tanto el problema esta en mi optimización del código.

Gracias por vuestras respuestas.

leif_sk8er · #9 (**permalink**) 03/06/2011, 10:53

A ver, para los robots no hace falta que lo ejecutes por ajax, el script puedes ejecutarlo del tiron, poniendo en el php.ini los max times hasta los topes, para que nunca pare, en plan 9999999.

El script tiene que liberar bien la memoria, me refiero a que en un while tienes que eliminar variables, parece una tonteria pero en un while si no usas unsets para eliminar se va sobrecargando y a las horas o dias eso se nota.

Yo te recomiendo usar para los robots de scrapping esto http://simplehtmldom.sourceforge.net
Ahi te explican en la api que existe el metodo clear, que lo que hace es usar unset vamos.

Este script viene bien para ir recorriendo todo de forma facil, y acuerdate, haz unset d todo lo que no vallas a usar en la siguiente vuelta del while, y no deberias tener ningun problema de correr el script del tiron incluso en localhost y luego subes la base de datos al server...

Tengo mucha experiencia en scrappings jejeje.

karlic0s · #10 (**permalink**) 03/06/2011, 11:41

Muchas gracias, probando... ;)