¿ Que les parece ese Robots.txt ?

[Andres128]

Hola muchachos de Forosdelweb quería preguntarles que les parece este Robots.txt que he creado según ustedes y su conocimiento en Seo que le cambiarían o le quitarían. De antemano muchas gracias a los que puedan responderme.

Código:

Sitemap: http://www.miweb.com/sitemap.xml

User-agent: *
Allow: /wp-content/uploads/ 
Allow: /feed/$ 
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: /category/
Disallow: /tag/
Disallow: /search
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /comments/
Disallow: /wp-content/plugins 
Disallow: /wp-content/themes/ 
Disallow: /?s= 
Disallow: /*/feed/$ 
Disallow: /*/feed/rss/$ 
Disallow: /*/trackback/$ 
Disallow: /*/*/feed/$ 
Disallow: /*/*/feed/rss/$ 
Disallow: /*/*/trackback/$ 
Disallow: /*/*/*/feed/$ 
Disallow: /*/*/*/feed/rss/$ 
Disallow: /*/*/*/trackback/$ 

User-agent: Googlebot 
Disallow: /*.php$ 
Disallow: /*.js$ 
Disallow: /*.inc$ 
Disallow: /*.css$ 
Disallow: /*.gz$ 
Disallow: /*.wmv$ 
Disallow: /*.cgi$ 
Disallow: /*.xhtml$ 
Disallow: /*?* 
Disallow: /*.txt$ 

User-agent: Mediapartners-Google* 
Disallow: 

User-agent: Googlebot-Image 
Disallow: 

User-agent: MSIECrawler 
Disallow: / 

User-agent: WebCopier 
Disallow: / 

User-agent: HTTrack 
Disallow: / 

User-agent: Microsoft.URL.Control 
Disallow: / 

User-agent: libwww 
Disallow: / 
 
User-agent: duggmirror 
Disallow: / 

User-agent: noxtrumbot 
Crawl-delay: 50 

User-agent: msnbot 
Crawl-delay: 30 

User-agent: Slurp 
Crawl-delay: 10

[Daniel Ulczyk]

No le veo mucho sentido a estas líneas:

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*?*
Disallow: /*.txt$

En especial atención a lo que tiene que ver ¿PHP? eso está del lado del servidor. Los agentes de usuario rastrean e indexan el documento Web generado no la fuente.
Por lo demás, ni Javascript ni CSS compiten en alguna medida con el contenido duplicado.
Por lo visto lo has escrito para un sitio basado en WordPress ¿restringir el acceso a la plantilla y a los plugins? Esas áreas vulnerables—en grado sumo—a ataques, debés bloquearlas desde .htaccess; no hay que confundir con lo que crawlers hace o deja de hacer.

[exatienda]

Quizás eres demasiado restrictivo con los buscadores, especialmente con Googlebot. En las secciones admin de wordpress (wp-admin) no hace falta un disallow ya que para acceder al admin hace falta el usuario y la contraseña y los crawlers nunca informan estos valores por lo que nunca llegarán a indexar más allá de la pantalla de login.

Creo que tu mismo te estás cerrando puertas y incluso hay crawlers que les prohibes la indexación a nivel de raíz de dominio...

[Andres128]

Muchas gracias Daniel Ulczyk y Exatienda por sus respuestas :) le he quitado lo que me aconsejaron y lo he dejado así: Que les parece:

Código:

Sitemap: http://www.miweb.com/sitemap.xml

User-agent: *
Allow: /wp-content/uploads/ 
Allow: /feed/$ 
Disallow: /cgi-bin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: /category/
Disallow: /tag/
Disallow: /search
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /comments/
Disallow: /wp-content/plugins 
Disallow: /wp-content/themes/ 
Disallow: /?s= 
Disallow: /*/feed/$ 
Disallow: /*/feed/rss/$ 
Disallow: /*/trackback/$ 
Disallow: /*/*/feed/$ 
Disallow: /*/*/feed/rss/$ 
Disallow: /*/*/trackback/$ 
Disallow: /*/*/*/feed/$ 
Disallow: /*/*/*/feed/rss/$ 
Disallow: /*/*/*/trackback/$ 

User-agent: Googlebot 


User-agent: Mediapartners-Google* 
Disallow: 

User-agent: Googlebot-Image 
Disallow: 

User-agent: MSIECrawler 
Disallow: / 

User-agent: WebCopier 
Disallow: / 

User-agent: HTTrack 
Disallow: / 

User-agent: Microsoft.URL.Control 
Disallow: / 

User-agent: libwww 
Disallow: / 
 
User-agent: duggmirror 
Disallow: / 

User-agent: noxtrumbot 
Crawl-delay: 50 

User-agent: msnbot 
Crawl-delay: 30 

User-agent: Slurp 
Crawl-delay: 10

Si Daniel Ulczyk este robots.txt es para una web hecha en wordpress.

[exatienda]

Lo veo un poco mejor que antes aunque yo quitaría los Disallow: / de todos los buscadores, de acuerdo que el 80% del tránsito web és Google pero no menosprecies el resto de buscadores.

Si te sirve de ayuda, yo tengo wordpress como web principal y no hago ningún disallow en el robots.txt y nunca me he encontrado que los crawlers indexen algo que no quiero.