Si por algo no me convence Ubuntu server es por su excesivo consumo, aun que se encuentre en reposo, Debian consume la mitad.
Como segundo punto presupongo que tienes instalado y bien configurado una cache de objetos, por ejemplo "memcached".
Y por ultimo tal vez deberías plantearte limitar un poco el ancho de banda, lo puedes hacer fácilmente con wondershaper.
Así:
Lo configuras...
Código BASH:
Ver originalsudo wondershaper <interfaz> <download> <upload>
Ejemplo (ojo en Kb).
PD: El inactivo es normal.