Si bien no estoy muy convencido que sea la gráfica, podrías probar instalando los drivers, ya que puede que falte algun detalle por tocar.
Primero te recomendaría abrir una terminal y ejecutar el comando top, para ver que es lo que mas esta consumiendo CPU.
Una vez lo identifiques, podríamos ver el problema, ya que pueden ser varias cosas, pero probablemente sea el Compiz consumiendo recursos.
Si quieres instalar los drivers, puedes probar con el paquete que trae ubuntu, haciendo:
Esto te instalaría el driver para tu distribución.
Por las dudas, postea el resultado del top.
Saludos.