Según mi experiencia,
Worker consume mucho más recursos que Prefork aunque tiene la ventaja que puedes agregar un acelerador de PHP para aumentar el rendimiento de cada proceso.
Nosotros estamos usando XCache e instalamos algunos plugins para usar
la memoria para variables de XCache, esto elimina las consultas más habituales a la db. Si no usaramos XCache definitivamente el server load sería mucho mayor.