enviar muchos emails con phpmailer muy lento

[eSSeneX]

Así rápidamente se me ocurre que podrías añadir todos esos correos con copia oculta (CCO / BCC) y después realizar el Send(). Prueba y comenta que tal.

Código PHP:

AddBCC($address, $name = "")    /* Adds a "Bcc" address. Note: this function works with the SMTP mailer on win32, not with the "mail" mailer. */