Cita:
Iniciado por razpeitia Veo que estas haciendo crawling y scrapping de datos, creo que lo mejor es analizar como hace el paginado. Tal vez solo añade un parámetro a la url, tal vez no, lo hace llamadas a apis donde regresa json o tal vez hace una llamada y trae solo html y hace un reemplazo.
Tienes que analizar que peticiones http esta haciendo y ver como puedes simular eso en python.
¿Que pagina es, tal vez te podamos ayudar?
La página donde están los artículos es la siguiente:
https://www.aromas.es/categorias/perfumes/01
Dentro de la web, el link que te muestra la siguiente página es el "Ver Más".
Por lo que he podido comprobar, para mostrarte la siguiente página necesita saber donde estás (perfumes de hombre, de mujer, etc) para mostrarte así la siguiente página de la categoría en la que estes. También he comprobado que esto lo debe de guardar algún hidden, cookie o similar, ya que por ejemplo, si copias la url de la página 2 de perfumes de hombre y te vas a la sección perfumes de mujer, pegas el link que habiamos copiado en la barra de direcciones del navegador y accedes, la página se hace un lío. Te muestra el encabezado y demas de perfumes de hombre (de la que pegamos la url) pero los artículos de mujer (donde nos encontrabamos).
Estoy escribiendo desde el móvil por lo que perdonad si no me explicado demasiado bien.