¿Qué librería JS usar?

[TibicenasDesign]

Buenas,
Mi gran duda es y llevo una semana leyendo y no lo tengo en claro aún es;

Tengo mi web en HTML5 y CSS3, con sus media queries etc... etc... pero para realizar ciertas funciones necesito JS sí o sí.

Pero no quiero que me digan hazte la web con bootstrap o derivados que lo que hacen es modificarme todo y llenarme la web con código innecesario y luego modificar algo es lo más engorroso del mundo.

Yo quiero usar el JS. para algunas funciones en concreto ( ej: toggle menú, reconocimientos en la web de movimientos Touch en dispositivos táctiles etc..) en plan
tengo mi archivo JS con esas funciones ya hechas, y yo le aplico la función a un elemento X con clase Y definida en mi HTML.
¿alguien podría orientarme y decirme?