Duda: Configuracion robots.txt

Dago · #1 (**permalink**) 10/02/2011, 13:30

Gente,
El tema es el siguiente. Tengo una web y he creado el archivo robots.txt con el siguiente contenido.

Código:

User-agent: *
Sitemap: http://www.misitio.com/sitemap.xml

El tema es que luego de subir el archivo, bajo mi posicionamiento en Google. Es posible que sea por esto o es solo un parecer personal?

Por otro lado, GOOGLE me marca errores de rastreo 404, de ciertas pagina que hubo en algun momento y que hoy no estan...
Deberia poner en el robots.txt lo siguiente, como para que deje de buscar esas paginas, no?

Ejemplo:

Código:

User-agent: *
Sitemap: http://www.misitio.com/sitemap.xml
Disallow: /paginavieja.html

Por ultimo... Alguna recomendacion para mejorar mi robots.txt. Pregunto desde la ignorancia. Quizas me este faltando algo como para mejorar.

Agradecere cualquier ayuda y recomendacion.

MIL GRACIAS.

Daniel Ulczyk · #2 (**permalink**) 10/02/2011, 15:58

Cita:

Iniciado por Dago

Por otro lado, GOOGLE me marca errores de rastreo 404, de ciertas pagina que hubo en algun momento y que hoy no estan...
Deberia poner en el robots.txt lo siguiente, como para que deje de buscar esas paginas, no?

No. Debieras utilizar la info que Google te provee para dar de baja esas URLs mediante las Webmaster Tools

masclet · #3 (**permalink**) 10/02/2011, 18:04

Dudo mucho, mucho, muchísimo que por subir el archivo robots.txt pueda bajar el posiconamiento de una web.

Dago · #4 (**permalink**) 10/02/2011, 18:41

Gracias a ambos por su observaciones. Sin embargo, no logro dar en la tecla para borrar los errores que me aparecen. 404 que responden a viejas paginas que ya no estan mas y, de las cuales, no hay razon alguna para que sigan indexadas, mas aun, cuando en el rastro aparecen como errores. Cuestion de prolijidad y ganas de aprender. Si alguno me da una mano: sera muy bien agradecido. Desde ya gracias por el tiempo dedicado.

Daniel Ulczyk · #5 (**permalink**) 10/02/2011, 18:54

En casos como éste, Google no da de baja las URLs de sus índices per sé; el proceso de baja es por cuenta y orden del responsable del sitio y se inicia desde:

Herramientas para Webmasters » Información del Sitio » Acceso de rastreadores » Eliminar URL