Tema: Crawler
Ver Mensaje Individual
  #36 (permalink)  
Antiguo 08/03/2011, 04:36
Ricrever
 
Fecha de Ingreso: febrero-2011
Ubicación: Tarragona, España
Mensajes: 51
Antigüedad: 13 años, 9 meses
Puntos: 0
Respuesta: Crawler

Muchas graciassssss, esto me pasa por no debugar mi codigo...
ahora que ya puedo insetar listas en una base de datos, sabeis como puedo hacer para que no me inserte repetidos en dicha base de datos,
por ejemplo digamos que tengo el archivo.csv
url1
url2
url3
url3
url1
y yo quiero que en la base de datos no me inserte los repetidos, he intentado tratar el reader de mi codigo como una lista para poder eliminar los repetidos:
Código Python:
Ver original
  1. lista1 = []
  2. for i in reader:
  3.         if i not in lista1:
  4.                 lista1.append(i)
pero da error, me imagino pk el reader no lo puedo tratar como lista, asi que supongo que no me queda otra que al insertar el elemento comprovar si este ya esta en la tabla, pero esto me parece complicado y no tengo ni idea como hacerlo....

sugerencias please...

Última edición por Ricrever; 08/03/2011 a las 04:56