aclaremos un poco los conceptos para que entiendas mejor:
1 - jQuery es un FW (Framework) básicamente orientado al soporte crossbrowser, eso quiere decir que trata de que el código que escribas con él funcione igual en la mayor cantidad de navegadores posible (crossbrowser)
2 - jQuery no es un FW completo en todo el sentido de la palabra, sí, jQuery te provee de una forma de hacer las cosas, pero no ata necesariamente un paradigma como ExtJS, por lo cual es un FW más liviano y con un propósito bien definido: hacer javascript para el uso cotidiano de web's
3 - jQuery permite plug-ins: eso es básico en todo FW, permitir empaquetar funcionabilidades comunes para no re-inventar la rueda, como un slider por ejemplo: ¿si ya está hecho, para que volverlo a hacer?, en efecto esto no quiere decir que no puedas hacerlo, es tu decisión, pero en proyectos reales ahorra mucho tiempo, independientemente del riesgo de elegir un mal plugin, las comunidades suelen evaluarlos y si consigues uno con malas recomendaciones simplemente no lo usas.
4 - jQuery tiene derivados, como jQueryUI que como su nombre lo indica: está orientado al desarrollo de interfaces Gráficas de Usuario, donde jQuery es el core y genera ventanas, botones, etc, no tan optimizadas como ExtJS y Dojo, pero lo suficientemente amigables para el enriquecimiento visual de un sitio web.
5 - jQuery te ahorra el trabajo, dispone de una serie de envoltorios (wrappers) para hacer el código más fácil de programar, por ejemplo hacer peticiones AJAX en 1 linea y él se encarga de crear el XmlHttpRequest según el navegador, setearlo, hacer la petición y procesarla, lo que harías normalmente en unas aprox 10 a 15 líneas en una sóla.
espero que con esto lo tengas claro, jQuery no es el mejor FW, pero si uno de los mejores y más populares, aprender Javascript desde 0 es el deber de todo programador, no lo niego, pero no necesariamente tienes que abstenerte a usar FW que te provean de buenas practicas internacionales, JS no es la excepción