Hola, tenia un problema similar con Ubuntu, y de momento lo arregle, lo unico que hice fue cambiar en
/etc/X11/xorg.conf la linea
Option "Protocol" "IMPS/2" por
Option "Protocol" "auto" y desde entonces ya no se volvio loco.
Espero que te sirva.
Saludos.
