Código:
function loadMap() {
$('#map').slideUp();
document.getElementById('map').innerHTML = '<iframe width="640" height="480" frameborder="0" scrolling="no" marginheight="0" marginwidth="0" src="http://maps.google.es/maps?f=q&source=s_q&hl=es&geocode=&q=Puerta+del+Sol,+Madrid&aq=3&sll=40.396764,-3.713379&sspn=8.59894,19.753418&ie=UTF8&hq=&hnear=Puerta+del+Sol,+PLAZA+Puerta+DEL+SOL,+14,+28013+Madrid,+Comunidad+de+Madrid&ll=40.422906,-3.703423&spn=0.031364,0.054932&z=14&iwloc=A&output=embed"></iframe>';
$('#map').slideDown(1000);
}
Escondes el div, cargas y haces slide.
Dependiendo si usas un background color o image, te recomiendo poner un div dentro de map p.e. caja y hacerselo a este, porque en el momento de esconder los backgrounds del div tambien se iran,
Espero que te sirva de ayuda