31/05/2011, 05:08
| |||
| |||
| Está bien creado el Robot txt para que reduzcan la marcha todos los buscadores Hola, Me ha llegado un mensaje de mi proveedor de hosting en el que me dice que debo modificar mi robot.txt y que le ponga esto: crawl-delay: 60 Pero yo no tengo robot.txt creado ni subido, entonces he hecho uno. y quisiera saber si está bien hecho. Gracias: User-Agent: * Disallow: crawl-delay: 60 Saludos |
|
09/06/2011, 02:01
| |||
| |||
| Frecuencia de rastreo y dominios con igual contenido Buenos dias a todos. Despues de releerme todo lo que he podido y ams durante mucho tiempo sobre estos dos asuntos no he conseguido una respuesta. Afortunadamente esta este foro. Queria que me ayudarais sobre estas dos cuestiones, si es posible Me gustaria que por favor me orientaseis sobre cual es la mejor frecuencia de rastreo que debo poner para los bots de los buscadores, ya que me estan devorando el ancho de banda y mi proveedor me ha llamado la atencion sobre esto. Actualmente utilizo una herramienta de oscommerce para determinar que robots estan en la web, pero me gustaria que, si es posible, me aconsejarais una herramienta mas especifica para saber que robots estan y que ancho de banda consumen. Por otro lado, tengo la web alojada bajo dos dominios en dos proveedores distintos, un .com y un .es El contenido es el mismo, pero desde la .es se redirige a la .com (sin redireccionamientos automaticos, el INDEX indica que haciendo click se va a la pagina principal), y queria saber si me conviene dejar la pagina principal activa y eliminar la que tengo "de reserva" por si eso me pudiera originar alguna penalizacion. Mil gracias. Última edición por elron2002; 09/06/2011 a las 05:24 Razón: Me equivoque en el titulo |
|
09/06/2011, 13:25
| ||||
| ||||
| Respuesta: Está bien creado el Robot txt para que reduzcan la marcha todos los buscad He combinado 2 temas que comparten el mismo tópico 
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
09/06/2011, 17:02
| ||||
| ||||
| Respuesta: Está bien creado el Robot txt para que reduzcan la marcha todos los buscad La opción mas sencilla que he hecho en estos casos, es cambiar la frecuencia del robot en la cuenta de Webmaster Tools, para mi es más sencillo y eficaz. Saludos. |
|
09/06/2011, 17:27
| ||||
| ||||
| Respuesta: Está bien creado el Robot txt para que reduzcan la marcha todos los buscad Cita: Pero eso sólo resuelve las visitas de los crawlers de Google
Iniciado por dj_evolution  La opción mas sencilla que he hecho en estos casos, es cambiar la frecuencia del robot en la cuenta de Webmaster Tools, para mi es más sencillo y eficaz. 
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
09/06/2011, 17:31
| ||||
| ||||
| Respuesta: Está bien creado el Robot txt para que reduzcan la marcha todos los buscad Cita: Jejeje cierto, normalmente es el que más causa esta clase de problemas
Iniciado por Daniel Ulczyk Pero eso sólo resuelve las visitas de los crawlers de Google |
| Etiquetas: |
