Tema: Crawler
Ver Mensaje Individual
  #39 (permalink)  
Antiguo 10/03/2011, 05:04
Ricrever
 
Fecha de Ingreso: febrero-2011
Ubicación: Tarragona, España
Mensajes: 51
Antigüedad: 13 años, 9 meses
Puntos: 0
Respuesta: Crawler

Muchas gracias amigos, con gente como vosotros da gusto ir provando cosas y jugar con python!!!

Ahora estoy liado con otra cosa, explico:
en cada posición de la DB tengo una url, lo que quiero es pasar esta url a html y esto pasarlo a un string y guardalo en otra DB donde en cada posición quiero un string con el html de cada url!!
tengo el siguiente codigo:
Código Python:
Ver original
  1. def do_3(self,arg):
  2.         sql = 'SELECT * FROM k_url;'
  3.         cursor.execute(sql)
  4.         resultat = cursor.fetchall()
  5.         for registre in resultat:
  6.             print registre[0]
  7.             sock = urllib.urlopen(registre[0])
  8.             html = sock.read()
  9.             sock.close()
  10.             print html
  11.             raw_input()
  12.             prova = str(html)
  13.             print prova
  14.             raw_input()
  15.             stmt1 = "INSERT INTO htmls (url_id, text_html)VALUES ('"
  16.             stmt1 = stmt1 + registre[0]
  17.             stmt1 = stmt1 + "', '"
  18.             stmt1 = stmt1 + prova
  19.             stmt1 = stmt1 + "')"
  20.             cursor.execute(stmt1)
  21.             raw_input()
  22.            
  23.  
  24.         #cursor.close()
  25.         db.commit()

el error puede estar en pasar la variable con el html a un string.... lo estoy haciendo con el str (linia 12), pero no me funciona
alguna idea????

graciasss

Última edición por Ricrever; 10/03/2011 a las 06:12