Es decir si yo tengo un sitio web, que almacena mucha información; no me imagino una tabla en una base de datos con millones de entradas, seria muy lenta.
Un foro como este por ejemplo, solo lee entradas de los post recientes, y solo tiene que sudar un poco con las busquedas... no veo más problema
Un sitio como youtube, no tiene que estar ordenando los millones de videos a cada visita, ya que una peticion tan repedida, te sale a cuenta hacerla automaticamente una vez cada x tiempo y guardar los resultados.
Per en casos intemedios, hay alguna tecnica o no queda otra que poner un determinado tipo de datos al mogollon pos mas que sean.