Entonces no te queda otra que guardar todos los datos en la base de datos y ya esta. También lo que puedes hacer es darle a tu usuario la opción de marcar una serie como finalizada o algo así. De esa manera, si el usuario marca la serie como finalizada entonces si que se podrían borrar los videos visitados por ese usuario (en lo que a la serie se refiere).
Pero bueno, lo que esta claro es que tienes que usar una base de datos y que este bien optimizada. Nada más