Restringir arañas en robots.txt

Fer12 · #1 (**permalink**) 26/09/2011, 14:35

Hola tengo un problema con mi host compartido, es que segun parece consume mucha CPU, ya realise las otoimizaciones pertinentes y aun asi esta jodiendo, lo que creo puede ayudar seria cortar el acceso a las distintas arañas exeptuando a google , no se si esto es posible ? y de serlo como seria el texto a implementar , el sitio es en joomla y tiene unas 3 000 visitas diarias y si bien n o es mucho parece que lo es para byethost, hace unos dias puse en el fichero robots.txt algunas lineas que encontre en internet para impedir el abuso de banda , pero me bloqueo la publicidad de google , por lo que no era efectivo, espero vuestra ayuda . Gracias

Fer12 · #2 (**permalink**) 27/09/2011, 09:38

De a uno por favor :)

Arkaitz · #3 (**permalink**) 27/09/2011, 09:45

Puedes informarte sobre como utilizar robots.txt en http://www.robotstxt.org/robotstxt.html .
De todas maneras no creo que bloquear algunos bots reduzcan demasiado el uso de cpu de tu hosting compartido. Deberías considerar utilizar cache si es que Joomla tiene alguna opción para ello, desactivar algún plugin que no utilizes demasiado, mejorar el theme.

Fer12 · #4 (**permalink**) 28/09/2011, 13:45

Ok Gracias Arkaitz :)