Coincidencia, en sitepoint publican un articulo sobre esto:
http://www.sitepoint.com/article/web...mization-steps
Posiblemente sea por el tema del limite de peticiones simultaneas por host. La primera carga no puede cargar en paralelo todas las imagenes y js.
Y el tema de los caches es peliagudo, una cosa es lo que dices en tu web y otra el caso que hagan tu ISP y tu navegador (tiene su propia configuracion sobre cache, su limite de tamaño). Tu puedes poner las cabeceras correctas, pero luego tu navegador esta configurado para no usar su cache. Incluso si eres desarrollador lo mas posible es que el cache del navegador te haya dado tantos problemas durante el desarrollo (¿por que sigo viendo la imagen vieja cuando he subido la nueva? P*to cache).