06/09/2014, 15:22
|
 | | | Fecha de Ingreso: agosto-2014 Ubicación: Mountain View
Mensajes: 1.323
Antigüedad: 10 años, 4 meses Puntos: 182 | |
| Respuesta: Saturación al hacer múltiples conexiones con Jsoup
Buenas,
Ese dato que comentas ahora es efectivamente muy importante.
Podrías ser la limitación que comenta chuidiang, aunque me resulta un poco extraño ya que las limitaciones tanto de windows como del kernel linux en cuanto a conexiones tcp se cuentan por cientos o miles y no son 30 o 60. Por otro lado las conexiones http son stateless, por lo que al mismo tiempo no deberías tener tantas (gran parte del tiempo de proceso del thread se dedicaría a procesar el contenido con jsoup).
En cualquier caso, al final creo que es cuestión de que hagas pruebas para ver cual es el ritmo de "web scraping" óptimo.
Un saludo |