Debes de activar el SMTP en tu cuenta de Gmail para poder utilizarlo, no recuerdo donde está la opción exactamente pero busca en la configuración de Gmail.
Asegúrate también que tu servidor no tenga capado el puerto que utilizas.
Tu error no tiene que ver nada en principio con popen, es más bien un error de comunicación.
Cita: Ahora bien, todo el proceso funciona "muy bien" solo que me da error que ya mencione antes; ahora bien cuando cargo el archivo mail.php desde el navegador los correos se envían perfectamente.
De todas formas no dejas claro, cuando te falla y cuando funciona bien, este parrafo me despista.