Piensa que tu consulta utiliza parámetros $_GET para definir ciertos comportamientos, pero en los enlaces para paginar únicamente pasas el número de página, ¿cómo esperas que los demás parámetros se conserven si haces caso omiso de ellos?
Nada más simple que eso, tu lo has programado así, si quieres que la consulta funcione igual procura poner atención a los enlaces que generas, ahí está la clave.
