Crawler

[Ricrever]

Hola gente, estoy trabajando en un tema bastante interesante, se trata de capturar imágenes de un dominio.
Con un scrip he conseguido convertir la pagina web en un archivo .html y guardarlo en una variable, ahora se trata de recorrer dicha variable y encontrar las imágenes y guardarlas en un archivo, pero no tengo ni idea de cómo realizar esto, me han dicho que existe la librería httplib para hacer peticiones http, pero nose si voy por buen camino.

Me gustaría mucho leer vuestras opiniones, ya que me han dicho que hay gente muy buena por aquí ;)


graciassss de antemano!!!!

[razpeitia]

Busca todas las etiquetas img dentro del archivo .html

Recomendaciones usar lxml o BeautifulSoup

[AlvaroG]

+1 a BeautifulSoup. Una vez que tengas el HTML en una variable, digamos que se llama "html", podés hacer esto:

Código Python:

bs = BeautifulSoup(html)
bs.img
 

donde bs.img es una lista de todas las imágenes del documento. Fijate en la documentación:
http://www.crummy.com/software/Beaut...ing%20HTML


Saludos.

[Ricrever]

gracias por interesaros por mi tema, entieno que el Beautiful Soup es el mejor metodo para encontrar las imagenes, pero como hago para instalarlo? hago un import Beautiful? o tengo de descargar algun archivo i guardarlo en site-package ??? ayuda con este modulo por favor!!!!
graciassssss amigos!!!!!

[razpeitia]

Te bajas el código aquí.
Lo descomprimes, abres la consola y haces un:

Código:

python setup.py install

(Suponiendo que python esta en tu path y obivia donde tengas los archivos del BeautifulSoup)

[AlvaroG]

No olvides easy_install o pip

Código Python:

pip install BeautifulSoup
 

o

Código Python:

easy_install BeautifulSoup
 

Ambos comandos son más o menos equivalentes, y se encargarán de descargar los paquetes necesarios y de dejarlos funcionando. De nuevo suponiendo que los tengas en tu PATH, lo cual no sé si se cumple en Windows...

[Ricrever]

perfecto razpeitia, ya tengo el BeautifulSoup instalado!!!!
estoy ejecutando el codigo de mi amigo y no me funciona:

tengo el html de la pagina guardado en la variable html, entonces:

bs = BeuatifulSoup(html)
bs. img

pero mi scrip se cierra tan pronto termina su ejecución, no puedo vizualisar la lista de imagenes, alguna idea

tambien pruebo de hacer un print bs pero no da resultado...

[razpeitia]

Correrlo desde tu consola favorita. O añade raw_input() al final de tu script.

[Ricrever]

sisi ya tengo un raw_input() al final del script... esto no me hace nada :S continua cerrandose el script.
Alguien sabe como puede debugar para encontrar el error de mi script, o alguien sabe algun software para programar en python i poder encontar los errores ??? por ejemplo en java seria el eclipse, y en python ?????

[razpeitia]

Como te dije ejecútalo desde la consola, de esa manera aunque termine tu script podrás ver lo que arrojo. Si estas en windows puedes usar el IDE que trae por defecto y si estas en linux usas la consola y listo.

También puedes usar algún otro IDE como eclipse, netbeans, etc.

Bueno te dejo un script de prueba:

Código Python:

import BeautifulSoup
import urllib
 
f = urllib.urlopen("http://www.forosdelweb.com/")
data = f.read()
f.close()
p = BeautifulSoup.BeautifulSoup(data)
for img in p.findAll("img"):
    print img
 

[Ricrever]

Si señor!!!!! Razpeitia!!!
tengo el codigo compilado perfecto y sin erroes, ya me puede mostrar todas las imagenes que existen en una pagina web, pero quiero llegar mas lejos, me gusta lo imposible xD.
Me gustaria poder descargar dichas imagenes en mi pc, es decir hacer el mismo for que me dices, pero ademas de decir la dirección de las imagenes en pantalla, que me las descarge en un directorio de mi compu!!!

Se que existe la libreria mechanize, la qual te permite hacer una conexion http y ftp con un servidor, pero no tengo mucha idea de su funcionamiento,
que opinas amigo ??? utilizarias otra tu ???

graciassss de antemano!!!!!

[razpeitia]

Tengo varias soluciones para eso.
1.- Usar urllib como en este post
2.- Si estas en linux a la salida de tu script pásalo por una tubería a un wget
3.- Usar algún otro modulo de python para descargar.

[Ricrever]

Me gusta el tema de la urllib!!!
ya he visitado este post que me comentas, pero estoy un poco perdido...
estoy trabajando con windows, me echas una mano de codigo????

graciassssss

[razpeitia]

Mejor postea lo que llevas hecho, lo que esperas recibir y lo que estas recibiendo.

[Ricrever]

Este es mi codigo echo asta el momento
********************************************

Código Python:

import urllib
from BeautifulSoup import BeautifulSoup
 
inicio = raw_input('introducir la pagina web con formato http://www.exemple.com : ') 
 
#pasar la pagina a codigo html
 
sock = urllib.urlopen(inicio) 
htmlSource = sock.read()                            
sock.close()
 
#print htmlSource
 
#imprimir direccion de las imagenes
 
bs = BeautifulSoup(htmlSource)
for img in bs.findAll("img"):
    print img
    
print ('enter pera finalizar')
raw_input()
 

*********************************************

El cual me da la direccion de la imagen en la pagina que meto por el input, ahora mi objetivo es poder descargar dichas imagenes en un directorio en mi compu!!!

Dejo que manipules el codigo y que me postees las modificaciones.

graciassssss

[AlvaroG]

Pues es simple, de hecho no necesitás más que repetir líneas de código que ya tenés:

Para cada imagen:
1.- obtenés el nombre (os.path.basename)
2.- usás open() para crear un archivo con ese nombre en el directorio actual
3.- usás urllib/read para recuperar la imagen del servidor y almacenarla en una variable
4.- usás el método write() del archivo que creaste para escribir en él la variable que contiene la imagen.
5.- cerrás tanto el archivo como la conexión al servidor.

[Ricrever]

ufffff AlvaroG
he estado trabajando un rato sobre tu idea y no me aclaro, vamos te explico, consigo guardar la direccion de la imagen en una lista, es decir si la pagina tiene 4 imagenes las meto en una lista, lo que tengo dentro de la lista es esto que me comentas de "os.path.basename" o voy mal?

dentro de la lista tengo: [<img scr="/img/cert.jpg" alt="" height = "55" width = "55"/>] esto es una imagen de dicha pagina.
Ahora tengo que desccargar esta imagen en mi compu, pero no se continuar con el paso 2....

me ayudas con un ejemplo de codigo pleaseeee

graciassss

[AlvaroG]

no tengo un intérprete de Python acá, así que lo siguiente puede tener errores.

bs.img es un atajo para bs.findall("img").
La representación de la etiqueta sea la etiqueta misma, pero el objeto también posee algunos atributos, en especial el valor de los atributos en el HTML. Por lo tanto, podés obtener la ruta de la imagen como

Código Python:

for imagen in bs.img:
    ruta = imagen.src
    nombre_archivo = os.path.basename(ruta)
 

Lo que te comentaba es que crees el archivo local con el nombre que obtengas de nombre_archivo. si estás en windows, asegurate de usar un modo de apertura binario para el archivo, o de lo contrario no quedará bien guardado (usa, por ejemplo el modo 'wb' para crear el archivo nuevo)


Saludos.

[Ricrever]

Hola AlvaroG, perdon por el retraso, pero el fin de semana estava de viaje.
Estoy trabajando con esto, pero no entiendo como crear el archivo donde me va a guardar las imagenes en mi compu.
¿Como creao el archivo local con el nombre que obtengo de nombre_archivo. ????? y estoy trabajando en windows, como hago para usar un modo de apertura binario para el archivo???

Por lo que veo en el codigo anterior, la linia 3 de codigo, mete en la variable nombre_archivo la direccion path de la foto, pero ahora como interpreto dicha variable? que tengo que hacer con ella?

ayudaaaa porfavor!!!!!

[razpeitia]

Código Python:

import urllib
import os
from BeautifulSoup import BeautifulSoup
 
url = raw_input('URL -> ')
 
f = urllib.urlopen(url)
data = f.read()
f.close()
 
soup = BeautifulSoup(data)
for counter, img in enumerate(soup.findAll('img')):
    if img['src'].startswith("http://"):
        ipath = img['src']
    else:
        ipath = url + img['src']
 
    try:
        local = open(img['src'].split("/")[-1]), "wb")
        internet = urllib.urlopen(ipath)
    except IOError:
        continue
 
    data = internet.read()
    local.write(data)
 
    internet.close()
    local.close()
 

Mas o menos quedaría así.

[Ricrever]

que grande razpeitia!!!!!!
muchas gracias por tu codigo ;))) he detectado un pequeño error, pero nada importante, en la linia 19 hace falta un parentesi despues de open para cerrar el ultimo: local = open((img['src'].split("/")[-1]), "wb")

voi a continuar trabajando con el tema ya que quiero llegar mas lejos, voy inentar hacerlo recursivo, es decir, que dentro de una url, busque todas sus url's secundarias y que pueda descargar tambien las imagenes, en cuando me aparezcan dudas te las comento!!! y estoy segurisimo que me las podras solucionar.

AlvaroG, tambien te agrazesco tu colaboracion por la aportacion!!! voy a continuar trabajando!!!! y a tener mas consultas :)


gracias por tu colaboración!!! ;))))

[Ricrever]

Bien amigos,he seguido trabjando con mi crawler, y ahora tengo un pequeño problema, resulta que tengo una lista de url separadas por una coma, es decir:
['http://www.pagina1.com/','http://www.pagina2.com/'] lo que quiero es recorrer esta lista y coger cada url y descargarme las imagenes, como el paso anterior.
Tengo el siguiente codigo, pero no me rula y no puedo entender porque!!!!

Código Python:

nom_archiu = raw_input('introducir el archivo .txt: ')
f = open (nom_archiu)
datos = f.read()
 
lista = string.split(datos)
print lista
 
for i in range(len(lista)):
    sock = urllib.urlopen(lista[i])
    data = sock.read()
    sock.close()
    soup = BeautifulSoup(data) 
    for counter, img in enumerate(soup.findAll('img')):
        if img['src'].startswith("http://"):
            ipath = img['src']
        else:
            ipath = url + img['src']
   
        try:
            local = open((img['src'].split("/")[-1]), "wb")
            internet = urllib.urlopen(ipath)
        except IOError: 
            continue
        
        data = internet.read()
        local.write(data)
 
        internet.close()
        local.close()
 

creo que el error esta en el if, he debugado el codigo y cuando llega al if me peta el program, pero no entiendo porque....
igual es que al coger el elemento de la lista me lo coge como un string i no como una url, nolose... o igual es culpa del segundo for que no lo cierro bien.... llevo varias horas dandole al tema...
me gustaria mucho vustra ayuda amigos!!!!

gracias de antemano!!!

[AlvaroG]

¿Da alguna excepción? ¿no hace nada? ¿Qué quiere decir "no me anda"?

[Ricrever]

bien, resulta que tengo una lista de urls => ["http://www.pagina1.com","http://www.pagina2.com"]

lo que quiero es recorrer dicha lista y descargar las imagenes de cada url, de una url se como se hace, pero cuando tengo la lista nose pk no me deja... el codigo que tengo echo es el del anterior post, he debugado el codigo y cuando llega al if, se me cierra el script y nose pork....

si me puedes ayudar..

y si quieres mas info pide!!

[AlvaroG]

El for tiene un detalle que no pude encontrar, incluso tomé el código y lo modifiqué un poco para que sea más "pythónico" pero tuve problemas para hacer funcionar el for. Debo admitir que tampoco es que lo haya investigado demasiado

Hay otro problema menor y es que la variable url de la línea 17 no existe. No importa, con los cambios que te propongo ya no será un problema:
1.

Código Python:

for i in range(len(lista)):
    sock = urllib.urlopen(lista[i])
 

cambia por

Código Python:

for url in lista:
    sock = urllib.urlopen(url)
 

2.

Código Python:

for counter, img in enumerate(soup.findAll('img')):
 

cambia por

Código Python:

for img in soup('img'):
 

3.

Código Python:

local = open((img['src'].split("/")[-1]), "wb")
 

cambia por

Código Python:

local = open(os.path.basename(img['src']), "wb")
 

(tendrás que importar el módulo os para que este último funcione)


Saludos.

[Ricrever]

Perfectisimo AlvaroG!!!
Me as dado una magnifica ayuda!!!
Me funciona, y aunque si la lista contiene muchas urls, me tarda un poco la verdad es que me descarga todas las imagenes en mi directorio.
Por ciero, como vas del tema python+mysql???

Te comento, ueno comento a toda la comunidad, tengo el archivo .txt y quiero hacer un script de tal modo que me carge este archivo a una tabla mysql, y esto que me lo haca periodico, por ejemplo, cada dos dias que me carge el archivo .txt en dicha tabla!!!

Alguna sugerencia??
Jo voi haver si pico algo de codigo y os lo comento!!!

thanksssss

[razpeitia]

El archivo txt esta separado cada por comas o algun otro delimitador?
En cualquier caso, te recomiendo usar el modulo csv + MySQLdb + cron job

Si estas en un ambiente windows, cambia el cron job por una tarea programada.

[Ricrever]

El archivo txt esta separado per returns, en cada linia tengo una url.
Bien me descarge el modulo MySQL-python-1.2.3, le doy al setup.py que me biene en el paquete i no me hace nada.
He puesdo la carpeta dentro de python26\Lib\site-packages. me voi al cmd y ejecudo desde alli el setup.py me da el siguiente error:

C:\Python26\Lib\site-package\MySQL-python-1.2.3>setup.py
Traceback (most recent call last):
<module>
metada,options = get_config()
File "C:\Python26\Lib\site-package\MySQL-python-1.2.3>setup_windows",line 7, in get_config
serverKey = _winreg.OpenKey(_winreg.HKEY_LOCAL_MACHINE, options['registry_key']
WindowsError: [Error 2] El sistema no puede hallar el archivo especificado.

No entiendo que estoy haciendo mal, tengo el xamp instalado con una version de MySQL 5.5.8 y estan funcionando cuando intento instalar el modulo. Me puedes ayudar porfavor.

estoy trabajando en entorno Windows XP

ayuda porfavor!!

[razpeitia]

Es un error que tiene con las versiones 2.6 >=
La recomendación es usar un binario para instalarlo.

Aquí te dejo una lista de varios módulos hechos binarios para windows.

Recuerda bajar la versión adecuada a tu instalación de python y a tu versión de windows (32 o 64 bits)

[Ricrever]

Gracias razpeitia!!! ya lo he hecho funcionar!!!
Te comento una consulta, tengo un archivo .csv el cual quiero insertar en una base de datos.
Sabes como puedo hacerlo ahora que ya tengo la libreria MySQLdb.
Te comento, tengo la base de datos prueba1, con una tabla k_url i que tiene dos columnas.
lo que quiero es insertar un archivo .cvs dentro de la tabla.
Tengo el siguiente codigo, pero no me lo inserta....

Código Python:

import csv
import MySQLdb
 
conn = MySQLdb.connect(host = "localhost",user = "root", passwd="",db="prueba1")
ejecutar = conn.cursor().execute
 
def insertar(identificacio,url):
    ejecutar("INSERT TO k_urls("+identificacio+","+url+")")
 
 
reader = csv.DictReader(open('prova1.csv'))
 
for (linia in reader):
    map(insertar,linia.split(","))
 
cursor.close()
 

nose de quien tiene la culpa de esto, si la connexion con la db, o si el reader para abrir el archivo .csv!!!!

Alguna idea por aqui???

Mil gracias a todos!!!