que cosas debo tener en cuenta para...

[jonasanx]

Pues hay algunas aceleradores de php, como APC y XCache.
También se puede optimizar la base de datos, solo hay que googlear.

http://blog.digitalstruct.com/2007/12/23/php-accelerators-apc-vs-zend-vs-xcache-with-zend-framework/

¡Ah! para cacheado también tenemos memcache.

http://www.php.net/manual/es/intro.memcache.php

Para comprimir tu javascript tienes:

http://javascript.crockford.com/jsmin.html
http://dean.edwards.name/packer/

Y un tema que encontré sobre configurar apache.

http://www.forosdelweb.com/f58/recetas-para-configuracion-apache-404961/