Hola facundocorradini, gracias por tu ayuda.
Ahora tengo otra duda, sobre los robots.txt, por lo general el Robots esta localizado en la raiz principal de la web.
Pero que sucede en caso, cuando yo instale algun prefabricado en una carpeta, y en ese prefabricado tenga su robots.txt, para anular ciertas carpetas a los robots.
En este caso seria, aconsejable dejar los dos robots o no??
miweb.com/robots.txt
miweb.com/imagenes/robots.txt
Para este caso dentro de la carpeta "imagenes" hay digamos "admin, tools, templates, etc"; claro que dentro de imagenes quiero que Google siga un sin fin de imagenes con contenido.
Entonces estuve pensando colocar mi robots en la raiz principal de la siguiente manera:
miweb.com/robots.txt
Cita: User-agent: *
Disallow: /cgi-bin/
Disallow: /carpetas/
Disallow: /prohibidas/
Disallow: /imagenes/admin
Disallow: /imagenes/tools
Disallow: /imagenes/templates
Disallow: /imagenes/contactar-usuario*
Sitemap: http://www.mi_web.com/sitemap.xml
Este robot temo, que Google anule por completo toda la carpeta "imagenes", por eso mi duda.
Dudas
Es pocible tener mas de un robots en una web? Que diferencia existe en colocar las lineas al final con la "/ Barra oblicua", Google como interpretaria si yo coloco con o sin esa "/ Barra oblicua".
Disallow: /imagenes/tools/
Disallow: /imagenes/templates/