Duda con archivo robot.txt

[hackcrack]

Hola queria saber si el siguiente parametro sirve para excluir de la busqueda el contenido de la carpeta img y los subdirectorios que esta contenga.

Disallow:/img/*

Otra duda es que si en mi pagina enlazo imagenes que estan en esa carpeta "img" en el buscador de imagenes de google van a aparecer?.

Porque mi problema actual es que me indexa las imagenes pero una vez que entro me muestra la imagen pero del directorio donde se encuentra alojada

Este es un ejemplo, y lo que yo quiero es que aparesca de fondo el post donde enlazo dicha imagen

[Emirodgar]

Si no permites la indexación de imágenes, aunque las incluyas en tus artículos, no serán indexadas por los buscadores.

Lo mejor que puedes hacer con ellas es permitir su indexación, de esa forma, seguro que consigues mayor tráfico (aunque no sea de gran calidad).

Con esa intrsucción si, deshabilitas el acceso a esa carpeta y a los subdirectorios que contenga, no obstante, desde webmasters tools puedes generar un archivo robots.txt mediante un formulario muy sencillo, así te asegurarás de que tu fichero es correcto y que hace exactamente lo que tu quieres que haga.

[hackcrack]

Ah ok, pero que instruccion puedo hacer para que deshabilite el directorio pero no los archivos qe contenga

[Tedel]

No puedes hacer eso. debes guardar los archivos que te interesa prohibir en otras carpeta.

Y, dicho sea de paso, la instrucción que anotaste primero no es correcta.

[hackcrack]

Hu pero si yo quiero bloquear el directorio y no los archivos, eso no es posible? porq si lo pongo en otra carpeta estamos en la misma

[RBZ]

Explico una solución fácil para evitarlo. Creo un archivo index.php en la carpeta que redireccione hacia la página del sitio dónde aparece la imagen o hacia donde quieras.

[hackcrack]

creo q mas facil seria bloquear el directorio desde el archivo htacces

[RBZ]

Si bloqueas desde el archivo .htaccess bloqueas todo el contenido.

[Tedel]

Yo creo que te estás complicando por nada. Cuando Google pase por tu web otra vez, debería notar los cambios.

[hackcrack]

Claro tienes razon, bloqueo todo. Queda esperar a que google pase devuelta como dijo Tedel, porque poner un archivo en cada carpeta para que redireccione es mucho trabajo, tiene que haber una solucion mas sencilla.

[merino_renato]

Iniciado por hackcrack

Hola queria saber si el siguiente parametro sirve para excluir de la busqueda el contenido de la carpeta img y los subdirectorios que esta contenga.




Otra duda es que si en mi pagina enlazo imagenes que estan en esa carpeta "img" en el buscador de imagenes de google van a aparecer?.

Porque mi problema actual es que me indexa las imagenes pero una vez que entro me muestra la imagen pero del directorio donde se encuentra alojada

Este es un ejemplo, y lo que yo quiero es que aparesca de fondo el post donde enlazo dicha imagen

Puedes poner esto en tu robos.txt:

User-agent:*
Disallow:/*img*
Disallow:/images/

Si le prohibes la entrada a tu folder de imagenes (o cambia el nombre de la carpeta si no es images)

Esto en teoria deberia funcionar

Saludos

[hackcrack]

Pero merino_renato, eso no desindexaria tambien las imagenes que contenga la carpeta?

[Tedel]

Iniciado por hackcrack

Pero merino_renato, eso no desindexaria tambien las imagenes que contenga la carpeta?

No las saca del índice. Solo evita que los robots vuelvan a pasar por ahí.

La salida final del índice se da cuando los buscadores sea purgado de los datos inexistentes... eso no es an frecuente, en realidad.

[metafrases]

Yo lo que haría de momento sería añadir un archivo index.html vacio en cada uno de los directorios (img, entradas, juegos, 24) para no dejar visible la lista de archivos incluidos en esas carpetas. Según tengo entendido, dejar los directorios como los tienes supone un fallo de seguridad.

[merino_renato]

Iniciado por metafrases

Yo lo que haría de momento sería añadir un archivo index.html vacio en cada uno de los directorios (img, entradas, juegos, 24) para no dejar visible la lista de archivos incluidos en esas carpetas. Según tengo entendido, dejar los directorios como los tienes supone un fallo de seguridad.

?????????????

A que te refieres a poner:

User-agent:*
Disallow:/*img*
Disallow:/images/

Cual fallo de seguridad te refieres?

Esto solo le dice al crawler: no entres a la carpeta imagenes ni rastrees nigun archivo que tenga img ...

No entiendo para que poner el index en cada carpeta, lo podrias explicar?

Yo no uso mas que el Disallow:/images/

el

Disallow:/*img*

lo que hace es que el crawler no lea imagenes pero en mi web si quiero que las lea, si queremos que si las lea pero que no indexe TODA la carpeta donde guardas las imagenes, podemos solo bloquear asi:

User-agent:*
Disallow:/images/

Yo lo he puesto asi y mi web se ve perfecto y cuando consulto en el buscador de google:

site:www.webejemplo.com

Me muestra exactamente lo que google tiene indexado de mi web si se me escurre alguna web la puedo borrar en herramientas para webmasters de google copiando la URL despues del:

www.webejemplo.com/imagenes/loquesea.com

pero además puedes bloquear la url en tu robots.txt asi:

User-agent:*
Disallow:/images/
Disallow:/imagenes/loquesea.com

y la url debe devolver una pagina 404 y listo se borra cualquier pagina que ya estaba indexada en google y que quieras borrar, si es una web que no desees que se indexe le pones <meta name="ROBOTS" content="noindex,nofollow" /> en la etiqueta <head> y listo...

A mi si me funciona asi...

Saludos

[metafrases]

merino_renato, perdona si me he expresado mal. No me refería a tu respuesta.

Con lo que dices estoy de acuerdo, aunque creo que lo que quiere hackcrack es que cuando se indexe una imagen, aparezca de fondo la url donde está ubicada dicha imagen y no el directorio con la lista de archivos que es lo que sucede ahora.

Yo sólo le hacia una apreciación a hackcrack, y le indicaba que se recomienda en aquellos directorios donde se ubican las imagenes o archivos js, etc.. poner un index.html vacio para que no se tenga acceso en la red a dicho listado de archivos.

Es decir, para no liar más la cosa... que no es recomendable ver esta imagen en la red con el listado de archivos accesible a todo el mundo(a nadie le interesa el listado de archivos que tengo en una u otra carpeta en mi servidor):



Simplemente para evitar esto, le comentaba a hackcrack que incluyera en cada uno de estos directorios un index.html vacio, y asi evitar el mostrar mas información que la necesaria.

Simplemente esa puntualización....

[merino_renato]

Iniciado por metafrases

merino_renato, perdona si me he expresado mal. No me refería a tu respuesta.

Con lo que dices estoy de acuerdo, aunque creo que lo que quiere hackcrack es que cuando se indexe una imagen, aparezca de fondo la url donde está ubicada dicha imagen y no el directorio con la lista de archivos que es lo que sucede ahora.

Yo sólo le hacia una apreciación a hackcrack, y le indicaba que se recomienda en aquellos directorios donde se ubican las imagenes o archivos js, etc.. poner un index.html vacio para que no se tenga acceso en la red a dicho listado de archivos.

Es decir, para no liar más la cosa... que no es recomendable ver esta imagen en la red con el listado de archivos accesible a todo el mundo(a nadie le interesa el listado de archivos que tengo en una u otra carpeta en mi servidor):



Simplemente para evitar esto, le comentaba a hackcrack que incluyera en cada uno de estos directorios un index.html vacio, y asi evitar el mostrar mas información que la necesaria.

Simplemente esa puntualización....

Muchas gracias por la alcaracion, si no creas que yo se mucho solo que tiene poco tiempo que yo ressolvi eso tambien, jaja, pero la verdad no te entendia que eera eso de vulnerar la seguridad de nuestra web,uff, menos mal porque ya me habia espantado, a mi tambien en un principio me indexaba tod el google bot, pero despues aprendi a bloquear las url y a pedir que las elimnen desde google webmaster tools y pues ahora ya no pasa, nada.

Pero eso de poner un html vacio no me la sabia... pero bueno pues diario aprendo algo aqui en el foro, aunque la verdad con el puro robots text he podido controlar que me indexa google...

Saludos a todos

[RBZ]

metafrases propones casi lo mismo que yo. Si en vez de un archivo html, lo añades php ya puedes añadir redirecciones.

[merino_renato]

Iniciado por RBZ

metafrases propones casi lo mismo que yo. Si en vez de un archivo html, lo añades php ya puedes añadir redirecciones.

Orale, esta no me la sabia, o sea que le pongo un archivo index.php a por ejemplo la carpeta de imagenes?

y ya con eso el google bot solo indexa el contenido vacio del index.php en esa carpeta?

o se le debe poner algo de codigo para evitar que google indexe 2 index.php iguales en mi web? yo digo lo de 2 index.php porque mi web esta hecha en .php .... o ahi le pongo un index.html?

Y si le pongo al codigo del index.html solo la linea de no index no follow que pasaria se seguiria a indexar las demás carpetas?

Gracias por su respuestas

Saludos

[RBZ]

merino_renato no entendí bien la pregunta. La ventaja de que subas un index.php frente al index.html es que puedes añadir el código para hacer una redirección 301.

[merino_renato]

Iniciado por RBZ

merino_renato no entendí bien la pregunta. La ventaja de que subas un index.php frente al index.html es que puedes añadir el código para hacer una redirección 301.

Hola:

Yo me referia a que apenas ayer me di cuenta que cuando escribes una url de una carpeta de nuestro servidor, pues aparecen los elementos contenidos en el navegador, yo no entendia a lo que se referian con vulnerar la seguridad, pero supongo que es que si saben como se llaman tus archivos pues más facil pueden intentar hackearlos, no?

Y entonces apenas entendi que si a una carpeta que de nuestro servidor que no tiene index, le ponemos un index vacio se ve en blanco la pantalla en lugar de verse los archivos contenidos en la carpeta.

Lo que pasa es que mi web esta hecha en php y entonces lo inverti puse un index.html , es a esto a lo que se referian, no?

Lo que no me queda muy claro es que no para que la redireccion?

por si alguien se mete , por ejemplo a:

www.ejemplo.com/carpetaprivada/

En vez de que el servidor le muestre el contenido en blanco lo redirecciona a la web que yo quiera?

Hay un linea de codigo en htaccess para esto?

o es manual en cada carpeta?

Yo le puse a los index.html que subi a esas carpestas el no index, no follow...
O bastaria conque le pusiera el rel canonical hacia mi index en php?

Bueno creo que ni yo entendi nada de lo que escribi, ojala y alguien entienda lo que escribi, si no pues mientras ya se quedan en blanco mis carpetas "privadas"

Saludos

[RBZ]

Con el index en blanco vale. La idea que propongo es una solución fácil para esos sitios que suben las imágenes a mayor tamaño en una carpeta. A menudo Google acaban indexando el directorio vacio. La redirección serviría para enviar al buscador a la página donde aparecen las imágenes originales... creo que ahora el que se ha explicado fatal soy yo.

[hackcrack]

Hu gracias a todos por tomarse el trabajo de responderme, perdon la demora es que estuve un tiempo sin internet.

Creo que bien como dicen al principio, seria bloquear la carpeta donde contienen las imagenes con Disallow para que no las indexe los buscadores y agregar la linea Options All -Indexes para que no se permita la navegacion por directorios.

Despues google solito se encargaria de indexar los post donde se encuentran las imagenes, entonces ahora una vez que busque una imagen en vez de mostrarme el directorio me mostraria el post.