A ver, para los robots no hace falta que lo ejecutes por ajax, el script puedes ejecutarlo del tiron, poniendo en el php.ini los max times hasta los topes, para que nunca pare, en plan 9999999.
El script tiene que liberar bien la memoria, me refiero a que en un while tienes que eliminar variables, parece una tonteria pero en un while si no usas unsets para eliminar se va sobrecargando y a las horas o dias eso se nota.
Yo te recomiendo usar para los robots de scrapping esto
http://simplehtmldom.sourceforge.net
Ahi te explican en la api que existe el metodo clear, que lo que hace es usar unset vamos.
Este script viene bien para ir recorriendo todo de forma facil, y acuerdate, haz unset d todo lo que no vallas a usar en la siguiente vuelta del while, y no deberias tener ningun problema de correr el script del tiron incluso en localhost y luego subes la base de datos al server...
Tengo mucha experiencia en scrappings jejeje.