Buenas tardes a todos y todas.
Como no sé donde es correcto poner esta pregunta la dejo en ayuda general. Por favor si consideran que debe estar en otro lugar les agradezco la muevan.
Hace tiempo vengo intentando optimizar mi web para consumir menos recursos en el servidor, y lo logré a medias, ya que actualmente tengo un consumo muy moderado de memoria y procesos (antes eran muy elevados). Por un tiempo también el consumo de la CPU del servidor era normal.
En los últimos tiempos y sin hacer cambios importantes en mis sitios superan permanentemente el 100%. Lo que veo es que en últimos visitantes me aparecen 150 lineas de visitantes por segundo. En esas lineas no solamente aparecen las url, también 2 css y una sola imagen que tengo en cada página.
Mi web tiene mas de 5 millones de páginas
Esas visitas son principalmente de robots (no solamente googlebot).
1 - Por favor si pueden ayudarme, como puedo resolver ese problema?
2 - Como puedo saber cual es la consulta sql que mas recursos utiliza?
3 - Que robots puedo bloquear?
Muchísimas gracias y espero que esta pregunta les sirva a otros visitantes
