Cita:
Iniciado por Fabih24 
No es molesto porque lo trabajo con PHP y agregue esa línea en la función que me carga el head en todas las páginas del admin.
¿Y para qué sirve User-Agent: *?
Saludos.
en pocas palabras... user agent son los sistemas de rastreo de google, uno de ellos es google bot.
estos son los que reccorren las paginas y las indexa.. y esa indicacion sirve para utilizar ese sistema y notificarle que no queres indexar o que recorra ciertas paginas o directorios.
no.. el txt tendria que quedar asi...
Código:
User-Agent: *
Disallow: /admin/
Allow: /
el allow por las dudas siempre hay que especificarlo (es el que permite indexar todo el sitio). y te recomiendo por las dudas agregar esas metas que te dije, ya que no todos los buscadores utilizan el robots.txt, e indexan igual las paginas
y la raiz de tu sitio no es /admin/ (esto seria un directorio en tu caso)
la raiz es el inicio, donde comienza tu sitio digamos, donde alojas la pagina principal de tu sitio por asi decirlo.
saludos
