me está haciendo polvo él solito se ha chupao +500Mb de la transferencia de mi host ... msnbot.msn.com 123Mb... qué puedo hacer para que no se recorran toooooooodo el host y lo indexen??
El dominio lo tengo desde enero... se imagina que ahora la búsqueda de estos bots es mayor por la "novedad"?? puedo cortarles el paso de alguna forma una vez que hayan superado unos Mb de transferencia??
Otra cosa que quería preguntar aprovachando el post... mi host me crea estos archivos: access_log, access_log.processed, error_log, xferlog_regular y xferlog_regular.processed se puede usar algún sistema de estadístcas que recoja esta info?? el del host no me parece muy buen...
bueno, gracias y un saludo!!!!