Robots.txt

Gorgonzola · #1 (**permalink**) 22/01/2017, 00:19

Buenas, tengo que eliminar mi página web de los buscadores ya que la empresa en la que trabajaba me ha notificado que cierto contenido de mi sitio web no puede estar a la vista por razones de confidencialidad.

De momento he puesto una contraseña de acceso, pero quiero asegurarme de no aparecer en Google tampoco.

Entonces he hecho uso del robots.txt pero no parece funcionar del todo.

He escrito lo siguiente:

Código HTML:

User-agent: *
Disallow: /

Pero sigue apareciendo mi página en los resultados Google, solo que en lugar de la descripción que había, ahora aparece lo siguiente:

"No hay disponible una descripción de este resultado debido al archivo robots.txt de este sitio."

Para colmo, el contenido concreto que quiero ocultar (la página interior) también aparece en los resultados de Google, aunque no es accesible por la contraseña, pero tiene el nombre del proyecto "secreto" y me gustaría que no apareciese.

¿Que otra cosa puedo hacer?

Un saludo.

petit89 · #2 (**permalink**) 22/01/2017, 07:48

Para evitar que los rastreadores web de la mayoría de motores de búsqueda indexen una página de tu sitio, coloca esta metaetiqueta en la sección <head> de tu página:

Código HTML:

Ver original<meta name="robots" content="noindex">

Para evitar que solo los rastreadores web de Google puedan indexar una página:

Código HTML:

Ver original<meta name="googlebot" content="noindex">

Gorgonzola · #3 (**permalink**) 22/01/2017, 09:52

Gracias, ¿y cuanto tarde en desaparecer de Google?

petit89 · #4 (**permalink**) 22/01/2017, 09:57

Tienes que revisar en los resultados de Google cuando fue la ultima vez que tu web fue visitada por este... la información la encuentras en una pestaña al final de la URL en el bloque de resultados que cuando das click dice Cache... de esa ultima fecha puedes contar un maximo de 7 dias para que vuelva a visitar la web y tome efecto los cambios realizados

Ito79 · #5 (**permalink**) 25/01/2017, 09:19

Hola,
También puedes usar la herramienta de Google para solicitar que no te aparezca temporalmente, durante 90 días al menos. Al eliminarlo temporalmente, la gente no va a poder acceder, irá bajando de posiciones y tarde o temprano el rastreador de google pasará muy poco por tu web (y encima lo bloquearás) y acabará "por desaparecer".

Es un poco engorro pero poco más puedes hacer, si está en internet, es "público" (luego restringes con contraseña y evitas q nadie entre, pero el saber que está ahí es más complicado de parar).

Esta es la URL de la herramienta:
https://www.google.com/webmasters/tools/url-removal

Si no estás dado de alta en Search Console para tu sitio, consulta la ayuda de Google:
https://support.google.com/webmaster...make-permanent

Espero que sirva
Un saludo

// Ito

Gorgonzola · #6 (**permalink**) 25/01/2017, 11:44

Muchisimas gracias a los dos, me ha servido mucho.

Voy a bloquearla y a ver si en ese tiempo deja de aparecer en los resultados con el noindex.

Una última cosa, ¿es compatible el noindex con la configuración del robots.txt que tenía?

Un saludo.

petit89 · #7 (**permalink**) 25/01/2017, 17:52

Si, es compatible... no generará ningun problema...

internetdominus · #8 (**permalink**) 20/02/2017, 19:32

Tambien podrias usar un "deny from all" para ese archivo/pagina especificamente.

Tedel · #9 (**permalink**) 24/02/2017, 10:55

Cita:

Iniciado por Gorgonzola

Gracias, ¿y cuanto tarde en desaparecer de Google?

Entre uno y tres meses.