A ver, con
filemtime() efectivamente obtienes la marca de tiempo UNIX correspondiente a la fecha de última modificación del archivo que le pases como parámetro.
Por lo tanto, dentro de tu while() debes poner algo como:
y luego usar $fecha_mod como índice de los elementos que vas agregando al array archivos. Después, cuando ya tienes el array, usas la función
ksort() que ordenará tu array en base a los índices, que en este caso son las fechas de última modificación.
Saludos.