Podrías manejar el criterio de ordenación implementando Comparable o un Comparator. Si es la implementación de Comparable, como tienes que devolver 0, -1 o 1, si el valor del objeto es 0 devuelves 1 (para indicar que el número siempre será mayor que el otro, y lo vaya metiendo a la derecha). Si no es 0 haces una comparación normal.
Aquí hay un ejemplo por si quieres necesitas refrescarte la memoria:
https://sites.google.com/site/apunte...r-y-comparable