Pues no tienes que configurar nada. .. Tenías que haber dicho -antes- que te sucede siempre que envias el 2° mail.
Pero .. lo dicho .. en principio ese error lo dá la conexión SMTP.
Lo que no me parece correcto es:
$mail->Subject = "From: $email \nReply-To: $adminMail";
Bueno .. como "Asunto" de un e-mail .. podría pasar .. pero un \n (salto de línea) no corresponde.
Sobre esos comentarios de "bug" de PHP Mailer . .revisa que versión estás usando .. e intenta usar la última que está disponible (
http://phpmailer.sourceforge.net) creo que eso que mencionas ahí ya está solucionado.
Tal vez por ahí venga también tu problema .. consulta en los foros de esa classe.
Un saludo,