Ver Mensaje Individual
  #4 (permalink)  
Antiguo 27/06/2012, 13:29
Avatar de razpeitia
razpeitia
Moderador
 
Fecha de Ingreso: marzo-2005
Ubicación: Monterrey, México
Mensajes: 7.321
Antigüedad: 19 años, 9 meses
Puntos: 1360
Respuesta: [Ayuda]Webcrawler casi terminado

Cita:
Iniciado por Naica Ver Mensaje
Quería intentar subirlo a una base de datos con phpMyAdmin.

Si utilizo scrapy para el crawling, ¿tendría que crear un webcrawler que se encarge del scraping editando los registros añadidos por 'scrapy' a la base de datos, para sumar el titulo, keywords, descripción y lo que se encuentre?
Si, lo único que tendrías que hacer es darle la(s) url(s) donde comienza.

Modelar la base de datos en este caso sería un solo modelo.

Y finalmente indicarle como va a sacar los con xpath.