Bueno, a todos los interesados les comento que adapté el trozo e código de Helbira y funciona a las mil maravillas.
Gracias Helbira por ello.
En cuanto al problema de los frecuentes cuelgues pues lo he solucionado en un 85% como les dije, liberando el objeto de memoria en todos los casos, capturando cuando no encuentra el sitio.
Oto asunto que provocaba los cuelgues era cuando no se encontraba un sitio pero en lugar de devolver el mensaje se quedaba buscando eternamente. Para esto he forzado que los sitios deban encontrase antes de medio minuto, con server.ScriptTimeOut. Si pasa dicho tiempo sin encontrarse da un error. Es mejor esto que quedarse colgados y tener que reiniciar el servidor.
Ahora he conseguido usarlo hasta 4 horas sin fallo, aunque a veces que puede que se cuelgue.
Bueno, la última versión está colgada en
http://www.laventanita.net/tutorial/spider.zip
Reciban un cordial saludo y reitaerar mis agradecimientos a Helbira por su inestimable colaboración.
