Hola *zreep*
Antes de responderte:
- Borré un mensaje muy similar a este, ya que se te había colado en un thread de poco más de 4 años atrás.
- Combiné 2 mensajes tuyos consecutivos de un mismo thread o conversación.
¿Cuánto creés que es el tiempo prudencial que debemos tomarnos para contestarte?
Sólo comentarte que esto es un Foro público ¿sí? de ninguna manera es Servicio de Atención al Cliente.
Nada se entiende sobre lo que deseás hacer.
Robots.txt es un protocolo con directivas restrictivas para informar a los bots o crawlers que carpetas de nuestro sitio deseamos que no sean indexadas.
Si tu buscador y base de datos serán privadas y no públicas ¿qué tiene esto que ver?
Creo deberías elaborar tu pregunta en uno de los foros de programación, ya que en el de Posicionamiento SEO no veo como ayudarte al respecto.
