si es un servidor local de pruebas recomiendo lo que Matosale comenta por que ademas de los backups puedes cambiar de PHP4 a PHP5 con un comando...
si es un servidor que gente desconocida va acceder (un servidor publico) mejor te lo instalas de los repos o lo compilas Ociomax tiene razon Siempre hay que tratar de usar El paquete de tu distro (en este caso APT)
si quieres inatalar desde los repos
haz
Código:
sudo apt-get install libapache2-mod-php5 apache2 mysql-server
si mal no recuerdo creo que deves activar universe... en /etc/apt/sources.list
chekate
http://guia-ubuntu.org