Cita:
Iniciado por Daniel Ulczyk 
El archivo robots.txt contiene directivas restrictivas. Y es el lugar desde donde instruímos a los motores de búquedas qué carpetas de nuestro sitios deseamos que no rastree.
Gracias por tu respuesta de nuevo, entiendo lo que es el archivo robots, y hablo de el en el caso de que google podría penarlizarme por contenido duplicado, añadir hay las páginas que fueran sensibles de penalizar.
pero mi pregunta en concreto no iba sobre los ficheros robots.