Pues yo instale la Debian Sarge Netinst, e hice esto y monte todos los entornos sin rollos:
apt-get install xserver-xfree86
apt-get install x-window-system
apt-get install (gnome o kde)
Te recomiendo gnome para debian...
Para reconfigurar el servidor de las x puedes hacer cualquiera de estos 2 comandos:
dpkg-reconfigure xserver-xfree86
ó
dpkg-reconfigure x-window-system
un saludo!!
