Buscador de url

[Ricrever]

Hola amigos, hace unos meses propuse un tema similar a este, pero lo aparque.
Ahora me interesa volver a sacar el tema y haver si alguien me da una solución.
Explico, necesitaria crear un buscador de url's, es decir que metieramos una palabra y un nivel de profundidad y el scrip me encontrada todas las url's que contengan dicha palabra en su contenido web. y me diera todas estas url's en un archivo .csv
Nose si existe alguna libreria o lo tendria que implementar de 0.
Alguna idea pythoneros????

[razpeitia]

Usar un parser de html como lxml. Sacar el contenido web y usar regex. Regularmente no recomiendo regex pero creo que aquí se aplica muy bien.

[AlvaroG]

Si, en este caso en el que el requisito es cualquier clase de url y no solamente enlaces, una expresión regular va mejor, aunque más compleja.

Supongo que algo rápido como 'http(s)?://[^ "><]+? (cadenas comenzando con http o https y luego todo hasta encontrar un espacio, una comilla o arcos de apertura o cierre de una etiqueta) sería un buen comienzo, aunque seguro anda por la web alguna mejor.

Aunque claro: falla con rutas relativas. Como las rutas relativas son usadas casi siempre en enlaces, podrías hacer otro patrón tal que obtenga los href de cada enlace, y si no comienza con http lo considere una ruta relativa, y la "complete" como debe ser.

Por acá un ejemplo de cómo se puede hacer con wget y awk:
http://superuser.com/questions/47089...-a-file-server

[Ricrever]

Hola AlvaroG he estado provando lo comentado:
http(s)?://[^ "><]+? (cadenas comenzando con http o https y luego todo hasta encontrar un espacio, una comilla o arcos de apertura o cierre de una etiqueta...
el problema es que falla con las rutas relativas, vamos k no me las coge todas..
algun ejemplo de como hacer un href de cada enlace....
he mirado el ejemplo con wget y awk... no lo entiendo!!!

Algun ejemplo practico??

[AlvaroG]

Lo de las rutas relativas podrías arreglarlo simplemente tomando toda cadena luego de un

href="

o

src="

y agregando la parte faltante. después de todo, se supone que ya sabés la ruta base de la página!

wget y awk son programas de UNIX (y por extensión de Linux), por lo que si estás en Windows deberás descargarlas. Simplemente fijate en la página que vinculé, al final hay un ejemplo. No puedo leer la documentación por vos