Cita:
Iniciado por un_tio 
Imagino que me los podré descargar de algún sitio (ni idea de dónde) y luego hacer algo con ellos (¿compilar el binario?).
Dependiendo del tipo de software, siempre podrás descargarlo de su sitio oficial, ya sea el código fuente para compilarlo o algún paquete que maneje tu distribución. Igual, si tu distribución maneja repositorios, podrás descargarlos directamente de ahí, poniendo atención en lo que a dependencias se refiere.
En resumen: depende de tu distribución.
Si es Apache y PHP lo que quieres instalar, XAMPP es buena opción/solución en este tu caso.