Hola buenas.
Estoy haciendo un portal, y me gustaria saber que etiquetas dejan a su paso los dichosos spiders (capturadores web) para poder negarles el paso a mi web y asi no sobrecargarme el servidor.
Cuando digo spiders no me refiero a google, altavista, etc. Si no a los programas que se instala mucha gente para bajarse webs enteras a su disco duro.
Si alguien me diera una lista de las etiquetas de los capturadores web mas utilizados se lo agradeceria.
Saludos y gracias.
