Para eso es la técnica del spite (implementado via css como fondo del enlace). Una vez cargado junto a la página, la transición se hace sin demoras. Sólo es cambiar el mismo archivo gráfico de posición.
Fíjate a ver si notas demoras en cualquiera de los dos ejemplos que te indico. Y eso que en el segundo enlace todos los gatos andan juntos (y sin peleas

)
Un saludo