Cita:
Iniciado por MarceFX 
Es que me da un no sé qué bloquear el acceso a los bots desde el robots.txt
Es la mejor manera, bloquearlos. Cuando el sitio esté definitivamente online, cambiás los permisos.
No obstante, es bueno recordar que las restricciones en robots.txt son directivas. En algún momento y bajo determinadas circunstancias cualquier bot se las puede saltar.
Si durante la etapa "en construcción" existe información sensible, la mejor manera es restringir el acceso mediante
acceso a directorios mediante passwords