¿Entonces supongo que para desinstalarlo utilizaste apt-get o aptitude?
En consola escribe cualquiera de estos dos comandos:
Código Bash:
Ver original$ sudo apt-get remove --purge apache2 php5 mysql phpmyadmin
$ sudo aptitude remove apaceh2 php5 mysql phpmyadmin && sudo aptitude purge apaceh2 php5mysql phpmyadmin
Eso detrendrá los servicios de apache y mysql y los eliminará todos incluyendo los archivos de configuración. Por si acaso, realiza una búsqueda en todo tu sistema despues de desinstalarlos para asegurarte que no hubiera quedado ningun archivo configurado o editado por tu cuenta.
Para volver a instalarlos te recomiendo que leas
esta wiki para Ubuntu.