Francamente si bien es cierto que jQuery no propone una arquitectura, hace realmente fácil el manejo de los elementos del DOM, auque claro no tan extensamente como ExtJS, y al menos cumple el rol de facilitar la interoperabilidad crossbrowser, lo que te permite hasta cierto punto portabilizar el código para que funcione en diversos navegadores, lo que lo hace mas que una simple librería, aunque no llega a ser un framework propiamente dicho.
Tampoco olvidemos su propósito, jQuery esta orientado para un desarrollo rápido de webs y que sea lo mas liviano posible, en cambio ExtJS dispone de una GUI muy potente, pero pesada si se trata de una web, es ideal para backends, al menos desde mi punto de vista.
Por otro lado con jQuery y sus extensiones como jQueryUI o jQueryMobile dispones de unas herraminetas muy útiles para crear proyectos en poco tiempo, así que para mi es irrelevante si se considera un framework o no, con tal de que me permita llevar con rapidez el desarrollo de proyectos, he tenido experiencias agradables con ExtJS y SenchaTouch al igual que con jQuery, todo depende del estudio de factibilidad que le hagas a cada herramienta y el alcance que esperes lograr con ella, sea framework o no, para eso no hay discusiones
