[SOLUCIONADO] Problema con robots.txt

[sombrerodecopas]

Hola que tal.
Amigos ocurre que tengo un problema. Tengo un archivo robots.txt y acabo de subir todo al servidor, pero en las herramientas para web master de google hay una opción para probar el robots.txt. y todos los folder que bloque en el archivo Google me dice que son perfectamente accesibles.
No entiendo que pasa.

El codigo del archivo robots.taxt es este:
User-agent: *
Disallow: /upload/
Disallow: /slider/
Disallow: /img/
Disallow: /editor/

Entonces a mi entender esto en la primera linea le permite la indexacion a todos los motores, y en la linea 2,3,4 y 5 estoy negando la indexacion de esos folder (upload, slider, img, editor).
Y Google dice que se puede acceder perfectamente bien.

Ayudenme por favor
Saludos y gracias

[santiagoanuncios]

Te falta el *

User-agent: *
Disallow: */upload/
Disallow: */slider/
Disallow: */img/
Disallow: */editor/


o bien


User-agent: *
Disallow: /upload/*
Disallow: /slider/*
Disallow: /img/*
Disallow: /editor/*


etc

depende de como sea la estructura de directorios de tu web

Un saludo

[andrescrea]

Iniciado por sombrerodecopas

Hola que tal.
Amigos ocurre que tengo un problema. Tengo un archivo robots.txt y acabo de subir todo al servidor, pero en las herramientas para web master de google hay una opción para probar el robots.txt. y todos los folder que bloque en el archivo Google me dice que son perfectamente accesibles.
No entiendo que pasa.

El codigo del archivo robots.taxt es este:
User-agent: *
Disallow: /upload/
Disallow: /slider/
Disallow: /img/
Disallow: /editor/

Entonces a mi entender esto en la primera linea le permite la indexacion a todos los motores, y en la linea 2,3,4 y 5 estoy negando la indexacion de esos folder (upload, slider, img, editor).
Y Google dice que se puede acceder perfectamente bien.

Ayudenme por favor
Saludos y gracias

En principio, salvo errores tipograficos, el código que has indicado es correcto en LAMP
cual estás usando ? el * entiendo que es para Perl y derivados

De todas formas ahora Google no recomienda "betar" determinadas carpetas para cumplir su estardar para móviles

Iniciado por santiagoanuncios

Te falta el *

User-agent: *
Disallow: */upload/
Disallow: */slider/
Disallow: */img/
Disallow: */editor/


o bien


User-agent: *
Disallow: /upload/*
Disallow: /slider/*
Disallow: /img/*
Disallow: /editor/*


etc

depende de como sea la estructura de directorios de tu web

Un saludo

Puedes desarrollar tu respuesta?

[santiagoanuncios]

Hola, con el robots. no impides la indexación, impides el rastreo. Si la página(s) ya están indexadas lo seguirán estando, en el snippet de google te pone algo asi "no tenemos disponible una descripción de esta página ..." creo que se habló de esto no hace mucho

si tienes una ruta tal que así

www.dominio.es/seccion/subseccion/pagina.html

disallow: /subseccion/ no furrula
disallow: */subseccion/ si furrula
disallow: */pagina* si furrula


Un saludo

[ch3w4k4]

comprueba en la herramienta para webmaster de Google que puede estar pasando en la opción RASTREO, como lee Google el archivo robots y has varias pruebas para comprobar que las URL´s que quieres incluir/excluir las gestiona correctamente