Uf, eso puede ser complicado...
Algunos programas distribuidos en código fuente incluyen un script "make uninstall". Pero si no, vas a tener que eliminar manualmente cada uno de los archivos involucrados.
Espero que ahora entiendas por qué soy enemigo de instalar cosas tan cruciales como Apache sin usar un sistema de paquetes
.