Lentitud de mi servidor dedicado

[Lachero]

Hola a todos,
Mi servidor dedicado ya no rinde tanto como al principio. Quizás sea a consecuencia de que las visitas an aumentado mucho en varios meses. No lo se con exactitud si este es el problema.
El problema que tengo es que las paginas ya no cargan tan rapido como antes, todo se a relentizado.
¿Qué podría hacer ó que debería agregarle más a mi servidor para que fuese más rápido en cargar las páginas?

Aquí os dejo esta información:
Datos de mi servidor:
Processor Information
Processor #1 Vendor: GenuineIntel
Processor #1 Name: Intel(R) Pentium(R) D CPU 3.00GHz
Processor #1 speed: 3000.372 MHz
Processor #1 cache size: 1024 KB

Processor #2 Vendor: GenuineIntel
Processor #2 Name: Intel(R) Pentium(R) D CPU 3.00GHz
Processor #2 speed: 3000.372 MHz
Processor #2 cache size: 1024 KB

GNU/Linux

Datos de mi sitio web por si puede ayudar en algo:
El promedio diario es este (Estadísticas diarias ... Webalizer):
Accesos 769906
Archivos 424011
Páginas 106944
Visitas 10143
Clientes 23480
KBytes 133847

Si necesitáis más datos solo tenéis que pedirme.
Gracias.