cómo "scrapear" una web?

monaguillex · #1 (**permalink**) 05/04/2010, 13:02

Hola a todos, necesito hacer un web scrap a una pagina para poder bajarme toda la informacion que necesito en un solo proceso. El escenario es mas o menos asi: tengo una web donde hay una caja de texto y un boton. En la caja de texto pongo el codigo del objecto que necesito y le doy click a BUSCAR y si lo encuentra, me sale la pantalla para guardar o abrir el archivo (es un .kml) y este proceso tengo que hacerlo uno a la vez cada vez que quiera bajarme un kml, pero necesito un proceso que se baje todo sin necesidad que yo lo este haciendo uno por uno. He visto de algunos programas que dicen que "scrapean" paginas pero eso es mas que todo para jalar informacion textual que al final la guardan en un CSV. Podrian darme unos tips de lo que tengo qeu revisar para poder hacer este proceso. espero me puedan ayudar.

Gracias.

Saludos

abimaelrc · #2 (**permalink**) 05/04/2010, 15:38

Una forma de lograr lo que estás indicando es usando cURL o algún socket que lea las páginas web y luego almacenas la información. No sé como lo estás haciendo pero con PHP puedes leer este manual para que entiendas lo que te estoy diciendo. http://www.forosdelweb.com/f18/aport...equest-724214/

monaguillex · #3 (**permalink**) 05/04/2010, 17:52

Hola abimaelrc, gracias por tu respuesta. Bueno, te comento que trabajo con C# y no conozco nada de php salvo los enlatados smf y joomla....alguna otra idea por ahi? De antemano, gracias. De todas maneras voy a ver si hay alguna similitud en la sintaxis y asi a ver si la hago...

abimaelrc · #4 (**permalink**) 05/04/2010, 18:29

Puedes instalar como quiera cURL en forma externa desde este lugar http://curl.haxx.se/

monaguillex · #5 (**permalink**) 07/04/2010, 11:39

gracias por el dato abimaelrc, estoy revisandolo pero no lo entiendo muy bien...ademas creo que es una lib para php, los ejemplos que he visto son hechos con php...seguire buscando...gracias!

ElJavista · #6 (**permalink**) 07/04/2010, 14:42

Debe haber en .NET una clase con la que se pueda acceder al contenido de una URL, es más, yo lo he hecho pero no me acuerdo qué clases eran. Ahora bien, eso si no lo he hecho pero es posible que exista una implementación de DOM en .NET o cualquier otro método que permita parasear HTML.