Quiero hacer un programa que haga web scraping para extraer información. Mientras estaba probando un algoritmo para limitar el ancho de banda que consumía el software, me encontré con las limitaciones de hacer esto.
Usé como página de prueba a google. Siendo una de las páginas más visitadas del mundo pensé que hacer varias conexiones seguidas no les iba a molestar pero pasó todo lo contrario, realice en 11 segundos cerca de 700 peticiones de conexión para extraer su código fuente y a los pocos minutos me pusieron un captcha que duró cerca de 1 hora. Al ver eso me detuve, si seguía haciéndolo era probable que me bloquearan mi ip....
No quiero hacer DDOS, no es mi interés. Pero como el programa está en fase de prueba a veces tengo que hacer varias peticiones al servidor para comprobar cuanto puede tardar en realizar "n" extracciones, que ancho de banda consume para no saturar la red, cuántos threads puedo abrir en forma simultánea, etc, etc, etc…
Entonces se me ocurrió que podía usar un (o varios) servidor proxy para no tener problemas. Mientras probaba esto entré a páginas que te dicen tu ip y me encontré que algunos servidores proxy no cubren tu dirección ip mostrando toda la información de mi computadora. Es decir, aparecía la ip del proxy pero en el detalle aclaraba que estaba usando un proxy y que mi verdadera ip era la de mi máquina.
Así el servidor proxy no me sirve por lo que se me ocurrió usar una conexión con varios proxys. Investigando encontré que esto se llama cascading proxy o proxy en cascada, pero no puede hallar una manera de implementarlo en mi programa.
Ahora bien, si consigo la ip de un servidor proxy que haga este trabajo por mí sería maravilloso, ya que solo tendría que hacer una conexión dejando el trabajo difícil al servidor.
Esto es en resumidas cuentas lo que quiero con mi programa. Si tienes alguna otra idea es más que bienvenida!
