Según mi experiencia, eso depende de ¿Qué? tantas cosas le pongas al inicio!!!
Pero... según mi experiencia de uso, me dice que Gnome es mucho más rápido!!! aunque.... cuando abres los programas, ahí si no interesa que utilices de escritorio, los programas cuando abren como FireFox, Blender, OpenOffice y entre otros, tienen la misma velocidad de un escritorio a otro!!!!
Según el link de ociomax dice que KDE es mucho más rápido, pues.... la verdad no me parece pero bueno, instala Ubuntu y veras y si no te gusta pues instala Kubuntu y te darás cuenta
Salu2
PD: después de dar tantas vueltas y vueltas entre distribuciones Linux, jejejeje volví a la mejor que me ha parecido hasta ahora, Ubuntu!!!! jejejeje