Pangui, si se puede y es recomendable que el pc que será el servidor para dar acceso a internet tenga dos tarjetas de red, una para conectar el modem ADSL y otra para la red local. Supongo que lo haras bajo plataforma windoing.
Los equipos deberían estar conectados y configurados en red (comunicados entre si), debes tener un programa Proxy Server, para poder dar acceso desde el servidor a los otros pc como clientes.
Se carga el proxy server solo en una máquina, la que actúa como servidor proxy, en las otras solo se configuran como cliente con las herramientas que trae el win.
Lamentablemente debes tener encendido el pc server para que los otros tengan acceso, no es lógico pensar que si esta apagado te va a entregar servicio.
La configuración de los cables debe estar bajo norma.
Es recomendable que aproveches de instalar un Firewall para bloquear accesos indeseados desde fuera de la red, hay algunos gratis y buenos.
Saludos...
Nota: Si necesitas mas datos enviame tu emilio y lo vemos con detalle, ya que este tema se habla seguido por estos lados, solo debes buscar en posteos anteriores.