Problemas con robot.txt

gasuco · #1 (**permalink**) 26/04/2012, 05:12

Actualmente el contenido de mi robot.txt es:

User-agent: *
Allow: /

Por lo que los buscadores deberian poder indexar correctamente todas las paginas de la web.. El problema es que desde "Herramientas para webmasters" me sale que hay 5 url bloqueadas:

A que se debe esto??

Un saludo.

Daniel Ulczyk · #2 (**permalink**) 26/04/2012, 08:29

Si el contenido de robots.txt no ha cambiado, deberás—necesariamente—buscar documentos con la etiqueta "noindex".

#3 (**permalink**) 26/04/2012, 08:42

Además, el "Allow: /" del robots.txt es totalmente prescindible, y es imprescindible que lo ayudes añadiendo la url del Sitemap.

gasuco · #4 (**permalink**) 26/04/2012, 09:02

Lo que hecho es crear una web nueva para un dominio en el que anteriormente habia otra web, otro servidor, etc.. Al subir la nueva web me he encontrado que el posicionamiento esta bajando y los errores que comento del sitemap y del robot.txt..

Creo que la he liado parda porque si hago site:dominio.com sale la pagina antigua indexada!! Que debo hacer?? Borro todas esas url??

Juan Ca:

He subido un sitemap a traves del servicio de Webmasters.. Pero tambien estoy teniendo problemas (solo ha indexado 2 paginas de 33 y esta en estado Pendiente).

Daniel:

Es una pagina web hecha en Word Press por lo que no deberia tener "no-index", de todas maneras voy a escanear todo el codigo fuente haber si encuentro algo raro.. Debo incluir el sitemap al robot.txt??

Algo mas que pueda hacer??

Gracias por los aportes.

#5 (**permalink**) 26/04/2012, 11:57

Por lo que se refiere a las páginas que te salen bloqueadas, ten en cuenta que desde las WMT te muestran las URL's bloqueadas en los últimos 90 días, por lo que si alguna vez bloqueaste alguna en ese periodo de tiempo, ahí lo tienes, y sino, basta con esperarte a que pase la fecha y se te ponga a 0.

Cita:

Iniciado por gasuco

He subido un sitemap a traves del servicio de Webmasters.. Pero tambien estoy teniendo problemas (solo ha indexado 2 paginas de 33 y esta en estado Pendiente).

Es normal que si la web es nueva sólo te haya indexado ese porcentaje tan bajo, ten más paciencia.

Por lo que se refiere al estado "pendiente", éste calvario ya lo sufrí en mis propias carnes durante largo tiempo, y se solucionó por sí sólo, tanto que ya ni me aparece y actualizo el Sitemap a diario, indexándome todo lo que hago en pocas horas.

Cita:

Iniciado por gasuco

Debo incluir el sitemap al robot.txt??

Sí, es recomendable incluirlo. Te quedaría algo así:

Código HTML:

User-agent: *

Sitemap: http://www.tudominio.com/sitemap.xml

gasuco · #6 (**permalink**) 26/04/2012, 16:14

Cita:

Por lo que se refiere a las páginas que te salen bloqueadas, ten en cuenta que desde las WMT te muestran las URL's bloqueadas en los últimos 90 días, por lo que si alguna vez bloqueaste alguna en ese periodo de tiempo, ahí lo tienes, y sino, basta con esperarte a que pase la fecha y se te ponga a 0.

Nunca habia bloqueado nada en el robot.txt..

El problema es que he cambiado el contenido del dominio completamente, esto ha afectado al SEO drasticamente.. Supongo que sera cuestion de tiempo para que se indexe el nuevo contenido y empieze a mejorar el SEO de nuevo, no??

Ahora si que he bloqueado las URL del contenido anterior y le he pedido a Google que las suprima!! Con el nuevo contenido he creado un Sitemap para que Google empieze a indexarlo.. Debo hacer algo mas? He hecho lo correcto? En cuanto tiempo puedo empezar a recuperar el SEO?

Salu2

Muchas gracias por los aportes tan cuidadosamente explicados.

#7 (**permalink**) 26/04/2012, 17:33

Según nos cuentas, ya has hecho lo que está en tu mano, ahora debes dejarlo un poco de lado y no obsesionarte en ello. Lo que necesitas es paciencia y tiempo, ya que para indexar y sobre todo desindexar, necesitas muchas paciencia. Pero todo llegará.

Por lo que respecta a bloquear el contenido anterior, es mejor que no lo bloquees, cuando pase Google y vea que no funciona (error 404) y pase una segunda o tercera vez, ya verá cómo está el tema y lo quitará.

pordos · #8 (**permalink**) 27/04/2012, 01:03

si has hecho una web nueva para el mismo dominio lo básico para mantener el posicionamiento era hacer redirecciones 301 de las urls antiguas a las nuevas, lo puedes hacer a nivel servidor, lo más correto, o en webmaster tool.

de esta forma google entiende que has cambiado la web y continua con el posiconamiento y empieza a indexar las nuevas.