Cita: Puede que me pase de paranoico
Tal vez sí
, tal vez no
No lo había pensado desde ese el punto de vista.
Entonces la opción, puede ser prescindir del robots.txt, aunque la preocupación original de
angelseron eran los spiders.
Pero se puede incluir la siguiente meta en el <head> del documento.
Código:
<meta name="robots" content="noindex, nofollow"/>