Cita: En WHM puedes fijar un límite de correos enviados por hora y dominio:
Tweak Settings -> The maximum each domain can send out per hour (0 is unlimited):
Concuerdo con MinervaH en este punto, desde ahí podrás limitar los emails por hora por dominio.
Manuales en si sobre como configurar adecuadamente WHM y un server Linux con cPanel dudo que encuentres, eso es aprende con la experiencia. Pero si puedo recomendarte leer este documento, tiene información que podrá ayudarte en ese proceso de aprendizaje:
http://www.cpanel.net/docs/whm/
En el siguiente enlace también posteo otros consejos para tratar de detectar a un spammer en tu server, espero te sirva:
http://www.forosdelweb.com/f92/como-...3/#post1977034
Si luego de intentar solucionarlo por ti mismo el problema persiste, te recomiendo contratar los servicios de algún SysAdmin.
Saludos,