Gracias por tu respuesta, la verdad es que tengo ni idea de como se manejan esos frameworks pero me pondré a leer la documentación y a ver si consigo algo..
Me he decantado por el enchantjs, parece fácil de utilizar..
http://enchantjs.com/
Imagino que utilizando una librería de estas, ya no tendría porque tener lag no? No sé si se puede utilizar el framework y jQuery a la vez para algunas funciones como para detectar eventos