Mi duda es la siguiente:
Yo tengo esto colocado en mi robots.txt
Código:
y necesito saber si es correcto para que me bloquee el sitio completo en todos los buscadores, es decir, no quiero que aparezca mi sitio en los buscadores (es un proyecto interno).User-agent: * Disallow: /
Saludos