Sería:
ini_set("SMTP","tuservidor");
pero, ojo!: tu servidor SMTP no debe requerir autentificación para usar mail() de PHP original (esta función ni PHP permite autentificarción).
Si tu servidor SMTP requiere autentificación (lo normal hoy por hoy y más si es un servicio de SMTP de un ISP cualquiera ..) podrías usar la classe:
PHP Mailer
http://phpmailer.sourceforge.net
que permite autentificación SMTP entre otras cosas, siendo un completo sustituto a mail() de PHP original.
Un saludo,