Mira, de Linux se muy poco, lo que si te podría decir es que lo he activado todo en modo gráfico o buscando guías en internet.
En SuSe solo habilito la opción de activar administración remota y lo administro desde un XP con Xmanager.
La misma prueba lo he hecho con CentOS y Mandriva.
En otras palabras, hacerlo manual, no lo he trabajado. Lo que si te podría recomendar, es que busques en internet sobre XDM en Caldera.
Busca en las opciones de Caldera si tiene la opción de Administracion remota o en su sitio sobre el tema de XDM, solo te puedo decir que el puerto que necesita es el 177.
Te dejo algunos enlaces que encontre de cómo configurarlo en linux general.
Chapter 9. Configuring KDE Chapter 3. Configuring your system to use kdm Remote X Logins Using kdm SCO OpenServer Handbook
Filtro en Google:
configure xdm caldera