¿Te refieres a la IP privada de tu red? Es decir a la típica 192.168.algo.algo. En ese caso basta que quites el DHCP de la configuración de tu router, y luego en las propiedades de conexión de tu PC, en la opción protocolo TCP/IP le pones a mano la IP... y así con cada ordenador que se conecte a tu red.
Una vez hecho ya podrás abrir los puertos y redirigirlos a tu IP, que ya será fija