Hola:
En principio, una vez consultado, el navegador lo cogería de la caché, pero esas cosas dependen un poco tanto de la configuración del navegador como de lo que diga tu servidor al navegador (si puede o no cachear ese fichero). Por defecto, se suele cachear (css y js) y cada usuario sólo lo cargaría una vez.
La idea de coger librerías de alguna otra página oficial (de donde se pueden descargar o incluso de sitios como google developers
https://developers.google.com/speed/libraries/ ) tiene la ventaja, aparte de no cargar tu servidor, es que si un mismo usuario visita paginas web distintas que usan la misma librería y todas ellas la cargan de google developers, sólo la bajará una vez del primer sitio que la necesite, luego queda en caché y el navegador la recordará aunque visite un sitio distinto. Eso hace que el usuario en general pueda navegar más rápido por distintas páginas web, sin necesidad de descargarse una vez de cada una de ellas la misma librería.
La pega de no tener hospedada la librería en tu host es que en cualquier momento te la pueden quitar o modificar y tu web dejar de funcionar correctamente, por lo que tendrías que estar pendiente.
Se bueno.