Las arañas me dejan K.O. el servidor

[arrasia]

Como puedo hacer que las arañas de google y buscadores random, no me indexen parte de mi web que no me interesa (y que no aporta visitas)

He probado con <META name="robots" content="NOINDEX"> en la cabecera de esas web, pero aun así veo las ip de google haciendo de las suyas!!!

[lllmozartinlll]

Porque no pruebas con "nofollow". Suerte.

Saludos cordiales,

lllmozartinlll

[arrasia]

Ahora mismo tengo

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

y así sigue por ahí haciendo de las suyas :(

gracias por contestar

[imsitega]

Iniciado por arrasia

Como puedo hacer que las arañas de google y buscadores random, no me indexen parte de mi web que no me interesa (y que no aporta visitas)

He probado con <META name="robots" content="NOINDEX"> en la cabecera de esas web, pero aun así veo las ip de google haciendo de las suyas!!!

Prueba modificando el archvio robots.txt a algo parecido a esto:

Código:

User-agent: *
Disallow: /
Crawl-delay: 120

Si tienes un VPS o un dedicado se podrian mirar otrasa opciones.

Un saludo ;)

[arrasia]

Pero esa configuración impediría al robot en toda la web no?

Yo necesito que sea en ciertas paginas dinamicas, por ejemplo la de los usuarios

user.php?id=XXXX


Como le indico eso al spiderman de google?

¡¡Gracias!!

[imsitega]

Iniciado por arrasia

Pero esa configuración impediría al robot en toda la web no?

Yo necesito que sea en ciertas paginas dinamicas, por ejemplo la de los usuarios

user.php?id=XXXX


Como le indico eso al spiderman de google?

¡¡Gracias!!

Podrias intentarlo con esto:

Código:

User-agent: *
Disallow: /user.php
Crawl-delay: 120

Suponiendo que el archivo user.php esta en la raíz.

;)

[function]

Mira referente a lo que dices, te comento.

Asegrate de configurar bien un robots.txt y deja que teindexen solo los bots que quieras ej:
User-agent:* te permite tanto bing, como google, como yahoo y cualquier bot.

Usa la simpleza y piensa en que robots.txt pueden ser udos como un firewall pero dedicado a crawlers

primero has un Disallow a todo y despues haz un allow a solo lo que tu quieras. Esto te podria resultar muy extenso si tu sitio es grande.

si tu sitio no es grande, y/o quieres que te crwalen el sitio, haz lo que te dice imsitega es una muy muy buena opción.