Hola gente:
Estoy intentando hacer un pequeño "robot" para visitar sitios.
Lo que quiero hacer es un script que se lance a X hora (mediante un cronjobs seguramente) y verifique los links que tengo en mi base de datos, el tema es que no se como hacerlo, me dan algunas ideas? (no necesito codigo, si no ideas).
Pensaba en hacer un fopen a cada url, pero luego pense que sería mejor utilizar show_source() así de paso leo las etiquetas metas y title y las escribo en un log (para luego ver si hubo cambios y demas).
Que les parece? como lo harian ustedes?
Otra cosa, como puedo hacer para identificarme ante el otro servidor como un robot??? o sea, para que luego en las estadisticas a la persona le figure X nombre como el autor de la visita, asi como google se identifica como "GoogleBot"....
En fin, espero sus consejos sabiendo que mi duda es bastante general.
