Pues si ves las cabeceras de forma correcta (viendo el ReplyTo) entonces el problema no es de PHPMailer si no de que Google esta ignorando la directiva de ReplyTo. Revisa en tus opciones de gmail si tienes activado el usar ReplyTo o trata enviando el correo a otra cuenta.
Saludos
