Primero no has indicado en que orden. Supongo que de la A-Z, pero se pueden ordenar los ficheros de muchas formas.
-Cuando haces el bucle obtienes el nombre del archivo (Ya lo tienes)
-Únelos en un array. Ordenálos como gustes.
-Recorre el array y añade los img.
Puedes usar sort en el array
http://php.net/manual/es/function.sort.php para ordenar alfabéticamente.