Recopilar informacion de una pagina web pormedio del explorador

[tamalitos]

Hola a todos en el foro.

La verdad no suelo preguntar mucho, casi todo lo encuentro en el foro "y se agradece" , pero esta vez sí, tengo una preguntilla, espero puedan ayudarme


Primero que nada, no se bien que título ponerle al tema, ni en que Foro-SubForo , decidí esta sección porque creo que .NET sería lo más apropiado ya que trabajo bajo Windows.

Ahora planteo mi problema:

Trabajo para una empresa como desarrollador Jr. pero me han encargado que recolecte información de una página web la cual consulto desde el explorador con la siguiente dirección: http://189.240.110.198/clientes/usuarios.php



Una vez allí reviso los datos del usuario, y copio y pego en archivo en excel.





Esto es un trabajo tedioso y lo hago todo a mano descubrí que si cambio la dirección de:

http://189.240.110.198/clientes/detalle_usuario.php?recordID=1

a

http://189.240.110.198/clientes/detalle_usuario.php?recordID=2

Aparecen los datos del siguiente cliente, y así ... sucesivamente.

Ahora bien quiero aclarar lo siguiente:

-No tengo acceso al servidor.
-No tengo acceso a la base de datos del servidor ni a una copia.
- Se que son 17 MIL registros. (voy en el 500)

************
LO QUE DESEO
************

Lo que quiero hacer es un programa el cual de forma automática abra el explorador, inserte la dirección http://189.240.110.198/clientes/detalle_usuario.php?recordID=1 y valla cambiando el recordID automáticamente.

Así cuando abra la dirección:
http://189.240.110.198/clientes/detalle_usuario.php?recordID=1

me recolecte los datos: id_usuario, nombre, apellido,usuario, email, telefono, direccion. . ya sea que los guarde en un bloc de notas o bien que lo guarde en excel .

Gracias de antemano, por leer el post completo y si pueden ayudarme dandome ideas :D o bien un glorioso codigo fuente o programa.

[gnzsoloyo]

Si la web es tuya, o tienes acceso programático, yo te sugeriría que implementaras en ella un web service que te devuelva directamente la tabla, en lugar de intentar algo tan complejo, que además se parece más a un virus que a una aplicación normal...

[uokesita]

Si sabes algo de ingles te dejo estos links.. una técnica para hacer un script que te lea los datos de una pagina y los proceses del modo que tu desees se llama "Web scraping"

http://en.wikipedia.org/wiki/Web_scraping

http://www.thefutureoftheweb.com/blo...h-php-tutorial

guiate por ahi.. un video en ingles

http://wiki.cs50.net/Seminars#Scrapi...m_the_Internet

[tamalitos]

Hola gnzsoloyo, muchas gracias por contestar, no la web no es mia , es de una empresa a la que le trabajamos pero, por cuestiones agenas a mi, se niegan a dar acceso a la base de datos o bien a la aplicación (servidor).

De ninguna forma quiero hacer un virus solo facilitar mi tarea tediosa

-Sigo en espera de ideas y ayuda , de mi parte puedo decir que estoy viendo como leer el HTML de una pagina

[tamalitos]

Iniciado por uokesita

Si sabes algo de ingles te dejo estos links.. una técnica para hacer un script que te lea los datos de una pagina y los proceses del modo que tu desees se llama "Web scraping"

[URL="http://en.wikipedia.org/wiki/Web_scraping"]http://en.wikipedia.org/wiki/Web_scraping
[/URL]
[URL="http://www.thefutureoftheweb.com/blog/web-scrape-with-php-tutorial"]http://www.thefutureoftheweb.com/blog/web-scrape-with-php-tutorial[/URL]

guiate por ahi.. un video en ingles

[URL="http://wiki.cs50.net/Seminars#Scraping_Data_from_the_Internet"]http://wiki.cs50.net/Seminars#Scraping_Data_from_the_Internet[/URL]

uokesita me ha sido de mucha ayuda la información que me diste ahora me pondre a implementar el codigo y les cuento como me fue

-Mi problema alfinal tiene nombre... raspando Web "Web scraping" - Gracias!

[gnzsoloyo]

Sigo pensando que un webservice es mejor solución.
En la empresa que trabajo tenemos un proyecto coordinado con otra empresa extranjera que nos provee cierta información. En ese caso (similar al tuyo) ellos nos proveen solamente de dos cosas: Un usuario de consulta y dos métodos de acceso a webservice para obtener dos tablas de datos.
El proceso es muchísimo más simple, menos complejo de programar y muchísimo más seguro.
Ahora bien: nosotros no accedemos a su servidor, y de hecho ni siquiera a su hosting, y el webservice lo crearon ellos.
¿No podría esa orta emrpesa para la que hacen el trabajo, hacer algo similar? ¿Proveerte ellos el acceso a los datos?

[tamalitos]

Iniciado por gnzsoloyo

¿No podría esa orta emrpesa para la que hacen el trabajo, hacer algo similar? ¿Proveerte ellos el acceso a los datos?

Comparto tu idea de que un WebService seria lo MEJOR y CORRECTO, pero digamos que mis superiores... no tienen "tiempo" para pedir cosas asi. y que suframos los otros...