Lo que te quedaría muy bien sería hacer una precarga de la imagen secundaria con javascript. Ahora mismo tal como lo tienes, si el servidor tarda en responder, la imagen secundaria tardará en aparecer.
Seguro que en las FAQs de Javascript tienes algo.
Saludos