Algunos programas distribuidos en código fuente traen un script llamado "make uninstall". Si no lo trae, tendrás que eliminar manualmente los archivos instalados... uno por uno
Esa es una de las principales razones para usar programas empaquetados y no instalar desde código fuente.