Voy a dar una pequeña opinión en contra, pero está pensando en mejorar el debate y contribuir con el foro :)
Para mí el tiempo de carga si puede influir en el posicionamiento. En Google Adwords por ejemplo hace un par de meses dieron la noticia que iba a influir en el Quality Score -Que es el score de calidad que dan a los anuncios para saber si les cobran más o menos- debido a que era malo para la experiencia del usuario esperar mucho por la carga de una página.
En cierto modo tienen razón y no me extrañaría que influyese en el SEO -no mucho, pero algo-
Que dicen los demas?
