Creo que se a lo que te refieres, y es todo lo contrario. Cuanto más video esté almacenado en el bufer, mejor se verá. Lo que pasa es que se va almacenando en el bufer y así puedes verlo, cuando el bufer se agota pues se interrumpe el video.
Lo que pasa es que posiblemente tengas una conexión lenta que no te permita ver el video (no le da tiempo a almacenar datos en el bufer y por ello se interrumpe), pero con una más rápida debería funcionar.
Espero que te sirva