Va mucho mas rapido porque tenes una menor cantidad de registros, lo que significa menor uso de memoria para mysql y un recorrido mas liviano.
En caso de que quieras aumentar el limite de memoria utiliza
Código:
ini_set("memory_limit","32M");
al comienso de tu script.
Saludos.