03/05/2004, 02:09
|
| | | Fecha de Ingreso: mayo-2004
Mensajes: 4
Antigüedad: 20 años, 10 meses Puntos: 0 | |
| Etiquetas que dejan los dichosos spiders
Hola buenas.
Estoy haciendo un portal, y me gustaria saber que etiquetas dejan a su paso los dichosos spiders (capturadores web) para poder negarles el paso a mi web y asi no sobrecargarme el servidor.
Cuando digo spiders no me refiero a google, altavista, etc. Si no a los programas que se instala mucha gente para bajarse webs enteras a su disco duro.
Si alguien me diera una lista de las etiquetas de los capturadores web mas utilizados se lo agradeceria.
Saludos y gracias. |