Ya esta solucionado, por si a alguien le interesa, al método stop() de jquery hay que pasarle unos valores booleanos para que la función limpie la cola de animación (primer true) y un segundo valor para que salte al final de la ejecución: stop(true, true)
Fuente:
http://api.jquery.com/stop/
Saludos!