Ver Mensaje Individual
  #1 (permalink)  
Antiguo 31/05/2011, 05:08
Abelmelero
 
Fecha de Ingreso: marzo-2009
Mensajes: 168
Antigüedad: 15 años, 8 meses
Puntos: 1
Está bien creado el Robot txt para que reduzcan la marcha todos los buscadores

Hola,

Me ha llegado un mensaje de mi proveedor de hosting en el que me dice que debo modificar mi robot.txt y que le ponga esto: crawl-delay: 60

Pero yo no tengo robot.txt creado ni subido, entonces he hecho uno. y quisiera saber si está bien hecho. Gracias:

User-Agent: *
Disallow:
crawl-delay: 60

Saludos