No hay dudas de que los enlaces entrantes de relevancia (por temática, anchor text, etc.) son de suma importancia, no hay dudas tampoco de que el PR no es para nada un factor de peso.
La idea general de lo que decís, loborojo20, (más allá de como lo hayas explicado) suena bastante lógio y a comportamiento de Google. No creo que haya manera de comprobarlo, pero definitivamente debe influir. Vamos, que Google no guarda toda esa información al divino botón... y eso que es el maestro de la recolección de datos.
Google determina la relevancia de tu sitio por su contenido, la formas que use para determinar la calidad del mismo (links entrantes, concordancia de temática, visitas y recurrencia, etc) al fin y al cabo no importan cuando el contenido realmente es de calidad.