Eso es correcto. La optimización de imágenes es otro factor esencial. Lee por ejemplo
este caso que se presentó hace un tiempo.
La forma de manejar las consultas a la base de datos es otra causa, al igual que el nivel de optimización de tablas. Esto último lo arreglas desde el mismo panel de phpMyAdmin.