Los número no se ven tan mal pero si vi la lentitud desde diferentes ubicaciones por lo que descarto problemas de ruteo
En el httpd.conf para comenzar:
Cita: KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
StartServers 5
MinSpareServers 5
MaxSpareServers 20
MaxClients 150
MaxRequestsPerChild 250
y reinicia el servidor de ser posible