Recorrer sitios enteros en busca de archivos midi

[sisko]

Hola!

Necesito hacer una aplicacion que haga lo siguiente:

El usuario ingresa una url, el script revisa el sitio entero (basicamente todo lo que tenga el mismo dominio) y guarda todos los links encontrados de archivos midi a una base de datos.

Lo de guardar en la base de datos no es problema, pero no se como hacer para revisar un sitio entero, jamaz hice nada parecido y no encuentro ningun lugar en donde se explique como hacerlo.

Hay alguna forma de hacer esto?

Muchas gracias

edit: estos son ejemplos de sitios que me paso el cliente
http://www.midiworld.com/
http://www.cool-midi.com/
http://free.ifnimidi.com/
http://www.galia.org/heartbeats/midifiles.htm

[perryjr]

Tienes que aprender curl o alguna librería PHP parecida. Luego hacer una especie de googlebot (no es tan fácil y sencillo, te lo digo ya). Tienes que ir pidiendo página por página (y no todas seguidas, sino a intervalos, para que no baneen tu IP por sobrecargarles). Luego procesar el HTML de la página (para esto seguramente necesites otra librería (o expresiones regulares? según el caso..) y almacenar todos los vínculos MIDI, y también todos los vínculos a más páginas que seguir escaneando.

Esto como funcionamiento básico, pero es un proyecto muy grande. Consulta otras alternativas de código abierto u otros proyectos que te pudieran ayudar a la tarea