XFCE (u otro escritorio liviano) seguramente arrancará más rápido y andará más fluido. Pero si usas OpenOffice.org o Firefox (ambos programas son unos "mastodontes") pierdes las ventajas. De hecho KDE + KOffice suele ser más rápido que XFCE + OpenOffice.org.
Considera el uso de aplicaciones livianas para tus tareas. Por ejemplo:
Edición de textos: AbiWord, GNumeric, KOffice.
Navegación web: Dillo, Konqueror, Opera, Firefox sin muchas extensiones
.