Geoserver es un servidor de mapas, es un war que se despllega en un tomcat (u otro servidor), le pones mapas en fichero en determinados formatos y te los ofrece como servicio. Con OpenLayers (javascript) te puedes hacer la parte del navegador que lee los mapas ofrecidos por geoserver.
Openlayers, sin necesidad de geoserver, también es capaz de leer los mapas de google y los de OpenStreetmap.
Sin nada que ver con todo lo anterior y si quieres java swing, mira openmap
http://openmap.bbn.com/demo.html
Se bueno.