Bueno, eso es muy normal.
Cita: asort — Sort an array and maintain index association
Porque dicha función ordena los elementos, pero mantiene la asociación de las claves.
Por lo mismo, y en tus pruebas usas los mismo índices, es que recibes todo igual.
Quizá te sirve mas sort()
http://php.net/sort