Lo estás haciendo mucho más complicado de lo que debe ser. Estas son opciones más simples:
Código bash:
Ver originalrm [6-9].xxx # para borrar los mayores que 5
rm ??.xxx # para borrar aquellos archivos cuyo nombre es dos caracteres seguido de .xxx
rm [6-9].xxx [0-9][0-9].xxx # combinándolo para hacerlo en un solo comando
rm {[6-9], [0-9][0-9]}.xxx # solamente en bash
Te recomiendo leer sobre glob y la sintaxis abreviada con {} de Bash