Cita:
Iniciado por Daniel Ulczyk Podés consultar la lista de crawlers en
user-agents.org y mantenerlos a raya, bloqueándolos mediante el archivo robots.txt
Gracias Daniel, buen dato.
Sin embargo, no aparece nada de symantec o norton y aparece aranhabot, indicando que es el bot de amazon para chequear sitios de sus afiliados, pero mi sitio no guarda ninguna afiliación con amazon. Eso es lo extraño en este caso.
Gracias!