Cita:
Iniciado por ernestomarrero 
No sometas a votación la verdad, que te puedes llevar sorpresas. Te hablo de la opinión de Google. Incluso en Herramientas para webmaster dice lo mismo que te estoy diciendo.
El archivo robots.txt solo es necesario si tu sitio incluye contenido que no quieres que los motores de búsqueda indexen. Si vas a permitir la indexación de tu sitio por completo, el archivo robots.txt no es necesario (ni siquiera uno vacío).
http://support.google.com/webmasters...&answer=156449
Y en el foro de Google más recientemente
https://productforums.google.com/for...w/F25xxGiMgogJ
Y además te puedo decir que tu puedes dicerle que no indexe lo que sea y eso es solo una sugerencia. Si alguien pone un enlace en la red a esa página pues entonces será indexado. La utilidad de robots.txt es nula, no sirve para nada. Todo lo que hagas con eso lo puedes configurar en las herramientas para webmaster.
Configurando robots.txt, (si puede llamarse asi) no logras nada positivo y si puedes lograr cosas negativas, la más común que que el robot de Google no entienda lo que hay y pase a revisar otros sitios con contenido más accesible.
Hola, gracias por tu respuesta . Al final me creo lo que me dices. Voy a eliminar el archivo robots.txt y para las dos paginas que no quiero que se indexen utilizare el meta de noindex.