Cita:
Iniciado por AitorLopez 
Cuando hago la prueba en la herramientas de Google, te he comentado que salía:
Autorizado
Se ha detectado como directorio; los archivos concretos pueden tener distintas restricciones.
Pero que arriba no me daba una relacion de paginas bloqueadas.
Te pregunto que es lo que debería de salir si estuviera funcionando correctamente.
sobre este asunto no se más. pero me ha picado la curiosidad y buscando he encontrado además de tutoriales, un
analizador de documentos robots.txt
pruébalo y comentas. lo siento por no poder ayudarte en más.
Edito: este enlace también te puede ayudar a entender lo que necesitas
http://www.desarrolloweb.com/faq/her...on-robots.html