A ver.... en un uso normal de una base de datos no tendrías porque tener problemas, pero si haces grandes inserciones de datos, y grandes borrados, los índices no cumplen de una forma brillante su papel.
No es exagerado, ni grave, también tengo bases de datos de Access con muchísmos registros, y de la noche a la mañana no notas pérdidas de rendimiento, si eso sucediera, es un problema de índices mal definidos, pero mejora bastante de vez en cuando reparar la base de datos, eso reconstruye los índices, y si la compactas, ahorras espacio en disco, que siempre es necesario para todo.