Acabo de probar este código con mi web de destino en la que voy a hacer todas las búsquedas, y lo que me dice es:
"Please enable JavaScript to view the page content".
Al final voy a necesitar un navegador? Según he leído en Wikipedia, el webscraping utilizan programas que embebean un navegador dentro de ellos.
La clase URL es capaz de hacer esto, o ya por narices tengo que utilizar jsoup? (Jsoup permite ejecutar JavaScript?)
Nota: La página web de la que quiero sacar la información tiene un campo de texto de búsqueda, y al meter el objeto a buscar me ofrece el resultado buscado dentro de un marco.
Al acceder al código de dicho marco veo que este empieza por:
Código:
<a href="search?id=Pjoo6NwmYVcRj87BtECM" target="_self">
Y después ya viene la información que busco.
Esto tiene pinta de ser el resultado de una búsqueda php o asp.