Necesito sugerencia para reducir el tiempo de un proceso con file_get_contents

[ggonzales]

Hola amigos, mi consulta es respecto a php y mysql

Tengo una página php que ejecuta el siguiente proceso:

1. Obtiene 8,000 registros de una BD.
2. Por cada registro:
a) Captura, con file_get_contents, la información de un URL.
b) Filtra la información obtenida para adaptarla a una tabla en html.
c) Actualiza el registro leído en uno de sus campos con el bloque html formado.

El problema es que llamar a este php desde el navegador, hace que se quede leyendo y leyendooooo, y según lo que veo parece que cada 12 horas ha realizado el proceso para 1,000 a 1,200 registros. Lo cual indica que para los 8,000 tardará 3 días y medio apróx.

Hay otra forma de hacer que esto no se demore tanto?

Agradezco sus respuestas de antemano.

Saludos

GGV

[xknown]

Es necesario mostrar los 8000 datos a la vez??

Creo que deberías revisar varios puntos de tu aplicación, primero si definiste índices correctos o no, si tus consultas son óptimas o no, etc.

IMHO, creo que sería mejor que uses algún tipo de paginación, ahora en el proceso en el que utilizas file_get_contents, podrías hacer una especie de caché de los contenidos... (me imagino que eso se hace cada vez que accede a la página, eso si es que la información no varía tanto)

Saludos

[ggonzales]

No, no tengo que mostrar absolutamente nada, por eso no voy a usar nada de paginación. Sólo necesito guardar el contenido filtrado en la base de datos.