bloquear determinadas paginas

[AitorLopez]

Hola.
Tengo urls como estas:
http://www.midominio.com/?accion=probando&page=1
http://www.midominio.com/?accion=probandor&page=1
http://www.midominio.com/?accion=probandos&page=1

Quiero eliminar por medio del robots.txt todas las paginas de mi sitio que contengan en la url: &page=1

Para ello, el archivo robots.txt tiene este texto:

User-agent: *
Disallow: /*page=1

Pero no estoy seguro de que funcione correctamente.

Me podríais decir si está bien hecho de esta forma para bloquee estas paginas?.

Gracias. Un saludo.

[guardarmicorreo]

Iniciado por AitorLopez

Hola.
Tengo urls como estas:
http://www.midominio.com/?accion=probando&page=1
http://www.midominio.com/?accion=probandor&page=1
http://www.midominio.com/?accion=probandos&page=1

Quiero eliminar por medio del robots.txt todas las paginas de mi sitio que contengan en la url: &page=1

Para ello, el archivo robots.txt tiene este texto:

User-agent: *
Disallow: /*page=1

Pero no estoy seguro de que funcione correctamente.

Me podríais decir si está bien hecho de esta forma para bloquee estas paginas?.

Gracias. Un saludo.

así está bien.

pero si es por un tema de seguridad, lo mejor es bloquearlas según haya sesión iniciada o no y además pon contraseñas apache (si utilizas apache) donde necesites proteger directorios al público.

[AitorLopez]

Hola. Gracias por responder.

No es por un tema de seguridad, es un tema de duplicidad.

[guardarmicorreo]

Iniciado por AitorLopez

Hola. Gracias por responder.

No es por un tema de seguridad, es un tema de duplicidad.

ahh ok, ahora solo te falta que pruebes tu documento robots.txt, para ello sigue las instrucciones del final de este enlace y suerte :D

[AitorLopez]

Ya lo hize, pero la unica información que me da es:

Autorizado
Se ha detectado como directorio; los archivos concretos pueden tener distintas restricciones.

En principio debería de estar bien, pero yo creía que Google me iba a dar un listado de las url bloqueadas, por eso no se si esta correctamente.

[guardarmicorreo]

Iniciado por AitorLopez

Ya lo hize, pero la unica información que me da es:

Autorizado
Se ha detectado como directorio; los archivos concretos pueden tener distintas restricciones.

En principio debería de estar bien, pero yo creía que Google me iba a dar un listado de las url bloqueadas, por eso no se si esta correctamente.

lo que puedes hacer es buscar tú mismo con google (avanzado) una url tuya con page=1, si no te devuelve resultados pues ok, sino algo falla

[AitorLopez]

Si me devuelve resultados, pero no se si tendrá que ver que el archivo robots.txt lo subí por primera vez ayer por la noche.

[guardarmicorreo]

Iniciado por AitorLopez

Si me devuelve resultados, pero no se si tendrá que ver que el archivo robots.txt lo subí por primera vez ayer por la noche.

vale, prueba a poner tu dominio en esta herramienta para webmaster y examina tu web, luego vuelve al avanzado y mira si te devuelve resultados

[AitorLopez]

No te entiendo. Eso ya lo tengo, de hecho ahí es donde compruebo el codigo del robots.txt

[guardarmicorreo]

Iniciado por AitorLopez

No te entiendo. Eso ya lo tengo, de hecho ahí es donde compruebo el codigo del robots.txt

ya no sé qué más puedes hacer, lo siento.

[AitorLopez]

Cuando hago la prueba en la herramientas de Google, te he comentado que salía:

Autorizado
Se ha detectado como directorio; los archivos concretos pueden tener distintas restricciones.

Pero que arriba no me daba una relacion de paginas bloqueadas.

Te pregunto que es lo que debería de salir si estuviera funcionando correctamente.

[guardarmicorreo]

Iniciado por AitorLopez

Cuando hago la prueba en la herramientas de Google, te he comentado que salía:

Autorizado
Se ha detectado como directorio; los archivos concretos pueden tener distintas restricciones.

Pero que arriba no me daba una relacion de paginas bloqueadas.

Te pregunto que es lo que debería de salir si estuviera funcionando correctamente.

sobre este asunto no se más. pero me ha picado la curiosidad y buscando he encontrado además de tutoriales, un analizador de documentos robots.txt

pruébalo y comentas. lo siento por no poder ayudarte en más.

Edito: este enlace también te puede ayudar a entender lo que necesitas http://www.desarrolloweb.com/faq/her...on-robots.html

[AitorLopez]

Me sale este error en la herramienta que me has facilitado

Disallow: /*page=1
The "*" wildchar in file names is not supported by (all) the user-agents addressed by this block of code. You should use the wildchar "*" in a block of code exclusively addressed to spiders that support the wildchar (Eg. Googlebot).

Yo creo que quiere decir que algunos robots no lo leeran, pero esa información ya la sabía de google.

Aunque a lo mejor lo que me está diciendo que ponga las reglas especificas para Google. no?

[guardarmicorreo]

Iniciado por AitorLopez

Me sale este error en la herramienta que me has facilitado

Disallow: /*page=1
The "*" wildchar in file names is not supported by (all) the user-agents addressed by this block of code. You should use the wildchar "*" in a block of code exclusively addressed to spiders that support the wildchar (Eg. Googlebot).

Yo creo que quiere decir que algunos robots no lo leeran, pero esa información ya la sabía de google.

Aunque a lo mejor lo que me está diciendo que ponga las reglas especificas para Google. no?

no, el problema es que los operadores como * o ? solo son soportados por los robots de google y yahoo según leí.

si además de eso no te da ningún otro error entonces creo que el problema es que google todavía no se ha vuelto a pasar por tu web para actualizar las restricciones de tu robots.txt
por eso te dije lo de que fueras directamente a la herramienta de webmasters e introdujeras tu web para que lo hiciera ya, suponiendo que google trabaje de esta manera.

si te funciona entonces google trabaja de esa manera y todo ok, sino no puedo seguir ayudándote, lo intenté :)

[AitorLopez]

Mira, poniendolo así

Mira, poniendolo asi

User-agent: Googlebot
Disallow: /*page=1

la herramienta que facilitaste

ya no da ningún error, aunque el resultado en las herramientas de google sigue siendo el mismo anteriormente.

De todas formas, gracias por tu ayuda. Has sido muy amable.

Un saludo.