Hacer una web invisible para google

[mloliv]

Hola , estoy haciendo una web, la cual se pide una contraseña y luego se accede al contenido,osea ,es algo sencillo, si se sabe la contraseña te manda a una carpeta y listo.

El problema esque, no cabe duda de que google cuando pase por ahi, pues mostrara esa web ( que se abre tras contraseña ) en google,de nada serviria la contraseña,ya que lo q trato de evitar esque se sepa la carpeta, google te lo va a decir cuando pase por ahi.Alguien sabria como hacer invisible para google algunas carpetas o webs de una pagina ? gracias.

[ArturoGallegos]

coloca un archivo robots.txt en la carpeta que deseas ocultar con el siguiente contendio:

User-agent: *
Disallow: /

con eso evitaras que cualquier buscador indexse el contenido de dicha carpeta

[Willy_N]

Hasta cierto punto es verdad,

Pero, desgraciadamente sería más correcto decir cualquier buscador que respeta el robots.txt.

Google por ejemplo respeta el robots.txt, pero hay muchos robots que no.

De todos modos, si sin contraseña no se puede acceder a la carpeta ningún robot podrá entrar en ella, su contenido no será visible para ellos. Y creo que va a ser muy difícil que en algún lugar van a aparecer enlaces a una carpeta no-accesible.

[mloliv]

muchas gracias, lo de google lo entiendo, pero.... lo otro,os explico, no es una carpeta con contraseña, es una simple web en la cual si se sabe la contraseña te manda a una direccion ( a una carpeta ),la carpeta no tiene contraseña ni nada. Por lo tanto , ¿ hay buscadores ( importantes ) que puedan ver esa carpeta si le añado lo de : User-agent: *
Disallow: / ?

Gracias

[ArturoGallegos]

?¿ la verdad que no me viene a la mente algún buscador que no respete el archivo robots.txt, compañero Willy_N si nos indica algún buscador importante como ejemplo?

yo siempre considero a google, msn, yahoo y altavista mismos que si soportan la opción del archivo robots.txt

[Willy_N]

Hay montones de rastreadores que no respetan el robots.txt.

Los que tu mencionas sí lo respetan, pero hay muchos otros que no.

Lo gracioso es que cuando entro en la web de algunos que se intentan colar en la mía suelo encontrar avisos que dicen que su robot respeta el robots.txt. Pero no lo respetan porque si lo harían no hubiera notado su presencia.

[JavierB]

Hola mloliv

Muevo tu tema al foro de Posicionamiento SEO desde Web general.

Saludos,

[_Seolibre]

Otra forma de bloquear el acceso es con .htaccess

Para hacerlo solo debes escribir el bot que te interese bloquear, es una linea por cada bot. He puesto de ejemplo a yahoo y google. El archivo lo colocas en el root de tu sitio y listo.

#Bloquear Agente
rewriteEngine on
rewriteCond %{HTTP_USER_AGENT} ^googlebot [OR]
rewriteCond %{HTTP_USER_AGENT} ^yahoo
rewriteRule .* - [F]