Googlebot found an extremely high number of URLs on your site

[j_aroche]

Alguien ha recibido este mensaje en Webmasters Tools?

Googlebot encountered problems while crawling your site http://xxxxxxxx.

Googlebot encountered extremely large numbers of links on your site. This may indicate a problem with your site's URL structure. Googlebot may unnecessarily be crawling a large number of distinct URLs that point to identical or similar content, or crawling parts of your site that are not intended to be crawled by Googlebot. As a result Googlebot may consume much more bandwidth than necessary, or may be unable to completely index all of the content on your site.

Lo curioso es que me marca muchas URLs que tengo bloqueadas según el robots.txt, concretamente son relacionadas a un MediaWiki. Ya comprobé con "Fetch as Googlebot" que me da el error "Denied by robots.txt" al pedirle ingresar a una de esas URL's

Supongo que no debería preocuparme si en robots.txt las tengo bloqueadas, pero no se si alguien tenga una opinión distinta o tenga más detalles al respecto.

[Emirodgar]

La verdad es que nunca lo había visto, ni a mi ni en ningún foro, es curioso, intenta, además de restringuir las URL en el robotxs.txt eliminarlas del índice de Google, quizá así desaparezca el mensaje.

[arnoldcr]

A mi me ha pasado, con urls autogeneradas, lo que ha hecho google es desindexarlas, luego se toma más tiempo en indexarlas nuevamente, mi recomendación es que si son autogeneradas y sin contenido, las borres de alguna manera, para luego publicarlas con contenido.