crear un array y ordenar segun su valor

[roboty]

Intento ordenar este array con asort pero no funciona:

Código PHP:

$array=array(array("valor1",2),array("valor2",5),array("valor3",4));
asort($array);
print_r($array);
 

pero no me lo ordena segun entiendo me lo ordenaria por el valor, en que fallo?

igual no me sirve utilizar array_keys() y array_values() porque al ordenar segun su valor ya me cambia la clave, o no es asin. Esque quiero ordenar segun su valor pero no cambiar la clave del valor correspondiente.
saludos.