Problemas con la clase phpmailer

[novataenphp]

Primero daros las gracias por vuestro tiempo...

Estoy haciendo un pequeño script para enviar mails y uso la clase phpmailer, con el código que os muestro debajo, envía perfectamente, y se reciben los datos correctos; pero el problema reside en que cuando se recibe el correo (por ejemplo en gmail), al darle a contestar a ese correo, sale como remitente el propio correo de gmail, y no el del origen del mensaje... y esto es curioso, porque ves el correo del remitente, pero al apretar el botón enviar, sale el tuyo propio...

Me da la sensación que tal vez sea un problema de cabaceras en el email que no se manda el mail del remitente o algo así...

Código PHP:

  session_start();
if (isset($_SESSION['s_username'])){
$remitente=$_SESSION['s_username'];
 
include("funciones.php");    
include("phpmailer/class.phpmailer.php");
 
$mail = new PHPMailer();
$mail->IsSMTP();
$mail->Host = "smtp.mi-dominio.com";
$mail->SMTPAuth = true;
$mail->Username = "[email protected]";
$mail->Password = "mi-password"; 
$mail->From = "[email protected]";
$mail->FromName = "Mi empresa";
 
$mail->AddAddress($_POST['email']);
 
$mail->WordWrap = 50;
 
$mail->IsHTML(true); //enviar em HTML
 
if(isset($_POST['nombre_cliente'])){
 $nombre = $_POST['nombre_cliente'];
 $email = $_POST['email'];
 $mensaje = $_POST['cuerpo_mensaje'];
 $mail->AddReplyTo("$email","$nombre");
 $msg = $_POST["cuerpo_mensaje"];    
 }
 
$mail->Subject = $_POST['asunto'];
$mail->Body = $msg;
 
if(!$mail->Send())
{
$estado = "Ha ocurrido un error al enviar el mail: $mail->ErrorInfo";
exit;
}
 
header('Location: escritorio.php');    
} else{
           echo "Tu no estas autentificado dirígete a index.php";
    }    
?>