Las arañas me dejan K.O. el servidor

[function]

Mira referente a lo que dices, te comento.

Asegrate de configurar bien un robots.txt y deja que teindexen solo los bots que quieras ej:
User-agent:* te permite tanto bing, como google, como yahoo y cualquier bot.

Usa la simpleza y piensa en que robots.txt pueden ser udos como un firewall pero dedicado a crawlers

primero has un Disallow a todo y despues haz un allow a solo lo que tu quieras. Esto te podria resultar muy extenso si tu sitio es grande.

si tu sitio no es grande, y/o quieres que te crwalen el sitio, haz lo que te dice imsitega es una muy muy buena opción.