Desesperado con web muy transitada

[custo]

Buenas,

El caso es que tengo una web muy transitada (medio millón de páginas vistas cada día) y el servidor que tengo se está quedando muy pequeño. Todo lo que he ido aprendiendo ha sido por mi cuenta y no soy un experto.

Actualmente tenemos esto:
# OS: Linux CentOS
# CPU: Intel Core™ 2 Duo - 2.66 GHz
# RAM: 4 GB

Y hemos cogido otro servidor para balancear:
# OS: Linux CentOS
# CPU: Intel® Pentium 4 - 3.0 GHz
# RAM: 2 GB

El tema es que aún así el segundo servidor se nos cuelga. Creemos que es por la base de datos, que no da al abasto y no puede satisfacer al servidor 2, ya que aún haciendo el balanceo 5 a 1, se cuelga el segundo. ¿Es algo normal? ¿Con la cantidad de visitas que tenemos creéis que estos servidores son escasos?

Muchas gracias de antemano