problema con URLs y robots.txt

[djacedj]

Muy buenas a todos,

mi duda radica en el uso del famoso archivo "robots.txt". Recientemente hemos cambiado una web totalmente: nuevo estilo, nuevas URLs, nuevo contenido, etc.

El tema es que con el portal antiguo teníamos muchas urls indexadas y para no perderlas realizamos un control por medio de un script de php.

Además, establecí en el nuevo "robots.txt" la regla necesaria para que Google no tenga acceso a ninguna de las URLs generadas con parámetros, es decir, que posean la "?" seguida de variables...

Ahora resulta que la herramienta para webmasters me dice que tiene miles de resultados restringidos o no accesibles del portal ANTIGUO... Es correcto pues es lo que queremos pero mi pregunta es la siguiente:

¿Es necesario hacer algo más? hay que indicarle a Google que esas URLs ya no son válidas y que las retire??? son miles y miles...

Un saludo y gracias por adelantado

[elquique]

mmmm

Hay varios temas mezclados por tanto es bueno ir por partes, y como no se el formato nuevo y antiguo tu trasladas mi ejemplo al tuyo, ahí vamos...

Convertir URLs antiguas a nuevas, si por ejemplo tenias:

sitio.com/vertupost.php?id=123

y ahora tienes:

sitio.com/hermoso-post-recontra-seo/123/

debes hacer una redirección 301 vía htacces y/o con PHP (una de dos o ambas juntas de ser necesario), de la antigua a nueva.

OJO, no debes quitar vía robot las antiguas !!!! (ahí puede ser tu primer error)

Déjalas, no las quites, Google debe leer las antiguas, y apoyado por tu nuevo sitemap con el nuevo formato, y con tus redirecciones 301 correctamente realizadas, actualizara el indice. Pero no prohíbas las antiguas, si no se queda cojo en la conversión :(

Siguiente caso...

Si tienes URLs del tipo:

sitio.com/verlistapost.php?categoria=12&ordenado=nombre

y

sitio.com/verlistapost.php?categoria=12&ordenado=id

ahí, tienes contenido duplicado, ya que muestras lo mismo en diferente Orden, lo correcto es usar URLs canónicas.

O sea especificar algo como:

<link rel="canonical" href="http://sitio.com/verlistapost.php?categoria=12" />

de esa forma, independiente del orden=id o orden=nombre, sabrá por tu HTML con el canonical en el header que la que vale es la neutra sin orden o con orden por defecto. Más info: Especifica tus urls canónicas

Otro ejemplo:

Si tienes URLs con Tags, Categorias, o Paneles de administración, o archivos que no quieres que vean e indexe como swf, pdfs, etc, ahí si le pones el robot

Para un directorio:

User-agent: *
Disallow: /admin/

para un archivo

Disallow: /login.php

Esto también puede aplicarse a URLs que contengan session id, algo típico de PHP cuando pasas logueos por Session, urls onda:

tusitio.com/usuario.php?sid=2349fhe777aabb888

Espero quede claro ;)

cualquier cosa pega el grito.

[djacedj]

Muchas gracias!!!!

era exactamente el primer problema que me comentabas. No he dado tiempo a Google para que fijara las redirecciones y actualizara su indice.

El tema es que el nuevo portal tiene paginados que yo quería que no se indexasen para no tener contenido duplicado con diferente URL.

Al cortar la entrada a todas las URLs con el caracter "?" no me dí cuenta que también estaba cortando la entrada a todas las URLs del portal antiguo que estaban en proceso de actualización!!!!! Un fallo enorme por mi parte....

Ya lo he solucionado estableciendo los casos particulares para estas URLs dentro del robots.txt. Ahora funciona perfecto: las nuevas están prohibidas y las antiguas están accesibles y con su redirección en funcionamiento.

Muchas gracias por la respuesta!!! es que este tema es un poco jaleo y hay que estar con 100000000 ojos!!!

Un saludo.

[elquique]

Si, hay que tener muchos ojos, por eso si bien no me considero SEO, me gusta el SEO porque involucra tener que saber y dominar varios temas.

Es más que divertido.

[sorinsoso]

Iniciado por elquique

Es más que divertido.

Es un reto en todo momento, que me encanta esto . Aun que yo tampoco soy SEO.