Es dificil detectar eso. Primero que nada PHP-Nuke es un sistema que ademas de tener muchos problemas -y mas que nada cuando esta desactualizado- genera un agujero de seguridad en el servidor.
Hay una pequeña aplicacion en php que monitorea dominios en tiempo real. No es lo indicado par el caso, pero si agarras al script en el momento en que esta enviando spam podes detectarlo mediante de diferentes formas de acuerdo a los datos que devuelve este script.
Este script lo podes bajar de
http://www.directadmin.com/forum/sho...domain+monitor
Tenes que agregar un par de lineas en el httpd.conf y crear una tabla en una base de datos. Igualmente en las intrucciones de instalacion estan los detalles.