Bueno al parecer el problema es por los robots de los buscadores, por lo tanto ahora le he subido este robots.txt al servidor y parece que va bajando.
Código:
User-agent: *
Disallow: /foro/admin/
Disallow: /foro/db/
Disallow: /foro/images/
Disallow: /foro/includes/
Disallow: /foro/language/
Disallow: /foro/templates/
Disallow: /foro/common.php
Disallow: /foro/config.php
Disallow: /foro/faq.php
Disallow: /foro/groupcp.php
Disallow: /foro/login.php
Disallow: /foro/memberlist.php
Disallow: /foro/modcp.php
Disallow: /foro/posting.php
Disallow: /foro/privmsg.php
Disallow: /foro/profile.php
Disallow: /foro/search.php
Disallow: /foro/viewonline.php
Disallow: /foro/index.php?c=
Aunque la verdad es que va bajando poco y lento.
En el caso de que ya no baje más ¿habría otra opción de seguir bloqueando a esos bots?
Por otro lado si por ejemplo la carpeta de mi foro es "foro", ¿no sería mejor hacer la ruta absoluta de una vez?
Código:
User-agent: *
Disallow: /foro/
También me pregunto que sería mejor dejarlo con el asterisco o especificar el robots que se quiera bloquear, por ejemplo algo así:
Código:
User-agent: Googlebot
Disallow: /foro
en vez de lo anterior:
Código:
User-agent: *
Disallow: /foro/
Gracias, saludos
