28/01/2011, 08:42
|
| | Fecha de Ingreso: septiembre-2009
Mensajes: 229
Antigüedad: 15 años, 4 meses Puntos: 5 | |
Respuesta: ¿Me ayudáis con el robots.txt? Buenas de nuevo,
Regreso de nuevo con el tema tras ponerme un poco al día acerca del robots.txt.
Como recuerdo, tengo una web con un blog en un subdirectorio , tal que así: midominio.es/blog/
Finalmente he subido el siguiente archivo robots.txt a la raíz del sitio:
# Google Image
User-agent: Googlebot-Image
Allow: /
Disallow:
# Google Adsense
User-agent: Mediapartners-Google*
Allow: /
Disallow:
# Internet Archiver Wayback Machine
User-agent: ia_archiver*
Allow: /
Disallow:
# Digg Mirror
User-agent: duggmirror
Disallow: /
# All Bots
User-agent: *
Disallow: /blog/cgi-bin/
Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Disallow: /blog/wp-content/
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /*?*
Disallow: /*?
Disallow: /readme.html
Disallow: /license.txt
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Allow: /blog/wp-content/uploads/
Allow: /*?page=*
# Sitemap
Sitemap: http://www.kineweb.es/sitemap.xml
Sitemap: http://www.kineweb.es/blog/sitemap.xml
¿Lo véis correcto? ¿O encontráis algún fallo en él?
Muchas gracias y un saludo!
Última edición por bullancas; 28/01/2011 a las 08:48 |