Que tal:
La herramienta
nmap te permite explorar los puertos de cualquier 'dispositivo conectado a la red' ( PC's, impresoras, routers, switches, etc ), existen multitud de herramientas similares.
En base a los resultados obtenidos de la 'exploración' de puertos, buscan o desarrollan algun programa que les permita 'explotar' alguna vulnerabilidad existente en el demonio que escucha en determinado puerto.
Te voy a poner un ejemplo específico, que hace poco tiempo fué su apogeo ( de hecho, en la actualidad gran cantidad de servidores siguen vulnerables ) se trata de un bug en el archivo ntdll.dll:
http://www.rs-labs.com/exploitsntools/rs_iis.c dicho programa, intenta explotar el bug y abre un shell mediante un puerto.
Lamento no ser tan específico como quisieras... recuerdo haber visto una animación en un diario online donde detallan el proceso de un ataque, voy a buscarlo y si lo encuentro te envio la liga.
Saludos,