Si tienes suerte y el desarrollador de la aplicación lo tuvo en cuenta, entonces un "make uninstall" dentro del directorio de las fuentes podrá desinstalar la aplicación.
De todas formas, ya te habrás dado cuenta de que es una muy mala idea instalar programas desde código fuente, especialmente teniendo cientos de distribuciones con sistemas de paquetes más que decentes. Lee
esto.