Según mi humilde opinión, posiblemente el factor del tiempo de carga no sea muy considerado por google para aumentar posiciones, pero sí que puede servir para mejorar la experiencia al usuario, evitar % rebote, fidelizar visitas, etc, tal como comenta mcom, y eso, en conjunto, sí que puede acabar mejorando el SEO. És como el diseño web, que pongas unos estilos u otros, unos colores, etc, no va a afectar al SEO directamente, pero sí la confianza de la gente respecto tu web, y eso, al final, de una manera u otra, acabará afectando al seo. (
http://www.forosdelweb.com/f64/panda...rebote-942287/)
También considero que para ver cómo afecta todo esto, lo ideal sería seguir sin realizar ningún otro tipo de cambio, para comprobar que las mejoras que se puediesen observar, sean por el incremento de velocidad de carga y no por conseguir más enlaces, añadir contenido, etc etc.
Desde mi punto de vista, cualquier experimento con un poco de base, aunque no de los resultados deseados, es una muy buena idea, siempre obtienes información, aunque sea "esto no sirve para nada, voy a mandar al pagespeed a la ...." y así dedicas el tiempo a otra cosa!
Animos y mucha suerte!