Creo que estás confundido...
XDM, GDM y KDM son "display manager"; es decir, te permiten ingresar a tu cuenta de usuario y elegir qué escritorio usar. Desde cualquiera de ellos puedes ingresar a KDE, Gnome, etc.
En RedHat/Fedora el display manager se elige editando el archivo /etc/sysconfig/desktop
Si usas XDM, para elegir el escritorio tienes que editar (o crearlo si no existe) el archivo /home/t
suario/.xinitrc