Cita:
Iniciado por santiagoanuncios 
(...)
Cuando dices que se indexe te refieres a que esté esa url en el indice, y eso no tiene nada que ver con el robots.txt para eso esta el meta noindex
No, no, todo el contenido. Si hacías búsquedas con trozos del texto de la página, mostraba la url como resultado. Así que de ser un buscador respetable nada.