Puede ser por algún programa residente que tengas, por ejemplo algún antivirus o firewall que consuma más recursos de lo habitual... Si justo cuando estás reproduciendo el vídeo, a la vez tienes el antivirus trabajando (aunque no te des cuenta) pues puede ir a saltos, luego cuando el antivirus acaba pues ya no te da problemas...
Un saludo