bueno, yo tengo un router que es el que se encarga de eso, asi que no te puedo ayudar mucho, pero supongo que en la máquina windows habra algun proxy tipo Wingate o algo asi, (o el propio Windows tenia algo, no recuerdo porque hace años que no lo uso) y sera alli donde tengas que organizar el tema, a ver si alguien que sepa más te cuenta como con más conocimiento de causa.
respecto a la IP dimanica, te das de alta en la pagina
www.no-ip.com gratuitamente, y puedes elegir hasta 5 subdominios tipo loquesea.no-ip.com y el cliente que instalas en tu pc con IP dinamica se encarga de mantener el nombre apuntando siempre a la IP que tengas en ese momento.
Suerte.