[SOLUCIONADO] Archivo robots.txt

[teniasaginata]

Hola buenos dias amigos.
subi una web a internet pero la verdad esque no me manejo en el tema del archivo robots.txt asique me fui a una pagina que te la da. el asunto que la carpeta administracion de mi sitio web no quiero que google la indexe. me pregunto si este codigo estara protegida la carpeta administracion.
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: twiceler
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Crawl-delay: 120
Disallow: /administracion/
Sitemap: http://www.miweb.com/sitemap.xml

Saludos y gracias.

[exatienda]

Si la carpeta /administracion está dentro de "http://(...).tudominio.ext/administracion" el robots.txt que planteas es correcto :)

[Usuarios466]

Te recomiendo que sintetices el robots.txt y lo dejes tal que así:

User-agent: *
Disallow: /administracion/
Sitemap: http://www.miweb.com/sitemap.xml

De esta forma estás diciendo a todos los bots que no indexen el contenido del directorio "administracion", ya que de la forma que tú lo pones, a pesar de hacer la misma función, pones muchos bots especificandolos, pudiéndolo dejar con una acción general para todos.

[lauser]

Si, pero google entiende Disallow:... como recomendación, no como obligación.

[Usuarios466]

Iniciado por lauser

Si, pero google entiende Disallow:... como recomendación, no como obligación.

Por norma general, Google no suele indexar las carpetas que en el robots.txt especificas con un "disallow".

No obstante, se puede compaginar con el uso de la metaetiqueta "noindex".

[teniasaginata]

Ok muchas gracias a todos los que se tomaron la molestia de aclararme mi duda, por el momento no he acotado el archivo, pero ya entiendo que esta correcto y ademas a las pagina sdentro de la carpeta administracion les coloque la meta etiqueta: "noindex".
nuevamente gracias y marcamos el tema como solucionado.
saludos

[RBZ]

Iniciado por Juan Carlos

Por norma general, Google no suele indexar las carpetas que en el robots.txt especificas con un "disallow".

(...)

Siempre que no existan enlaces apuntando a las carpetas lo respeta.