Cita:
Iniciado por oscard41 
como la lista se esta alimentando de "http://www.robotstxt.org/db/all.tx" tarda considerablemente en cargar...
si tienen alguna otra idea mas optima se los agradecería de ante mano.
Tenerla en local en la bbdd... y actualizarla por cron una vez a la semana :D