Puedes hacer lo que pensabas hacer pero en vez de eliminar todos los archivos eliminar, por ejemplo, los que tengan más de siete dias.
Para ello utiliza la función filemtime, que te dará la fecha en la que el archivo a sido modificado.
Ejemplo de lo que tendrás que hacer: