Tema: problema con robots.txt
Ver Mensaje Individual
  #2 (permalink)  
Antiguo 16/10/2008, 08:54
Avatar de Daniel Ulczyk
Daniel Ulczyk
Super Moderador
  
Fecha de Ingreso: febrero-2005
Ubicación: Buenos Aires
Mensajes: 9.264
Antigüedad: 19 años, 10 meses
Puntos: 2114
Respuesta: problema con robots.txt
La forma correcta es esta:

Cita:
Iniciado por rafatfe Ver Mensaje

User-Agent: *
Disallow: /

Con lo que los bots interpretarán que no deben rastrear tu sitio.
__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit)