Intentando obtener fuente HTML

[dark_lock]

Básicamente quiero hacer un programa para automatizar una tarea que considero un tanto tediosa en una página... para ello solo quiero obtener el codigo html fuente de dicha página. Hago lo siguiente...

Código:

try {
     // Create a URL for the desired page
     URL url = new URL("http://hostname:80/index.html");
     // Read all the text returned by the server
     BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream()));
     String str;
     while ((str = in.readLine()) != null) {
          // str is one line of text; readLine() strips the newline character(s)
     } 
     in.close(); 
} catch (MalformedURLException e) {

} catch (IOException e) {

}

El código lo cogí de por ahí pero me sirve... solo que quiero hacerlo de la web de SeriesYonkis y esta me devuelve la fuente de Google ¡WTF! No entiendo por que... hice varias pruebas y es la unica página que me devuelve eso sin embargo desde firefox inspecciono el codigo fuente y como podeis imaginar es la verdadera... la cual quiero trabajar con ella.

¿Alguna pista sobre lo que puede estar pasando?
Un saludo

[walterdevel]

dark_lock, yo te diría que trates de obtener el responseCode. Posiblemente haga algún redirect y por eso podés bajar el html.

[dark_lock]

Gracias walterdevel por contestar pero no se muy bien a que te refieres con lo del responseCode... si que entiendo lo de la redirección por que me lo había temido pero no se como subsanar este problema...
Un saludo

[delrdlp]

Acá te paso un ejemplo:


int code = 0;

URL u = new URL(url);

URLConnection uc = u.openConnection();

HttpURLConnection httpConnection = (HttpURLConnection) uc;

code = httpConnection.getResponseCode();

httpConnection.disconnect();

Para seguir o no los redirects usas:

httpConnection.setFollowRedirects(true); (true o false obviamente)

[dark_lock]

Gracias delrdlp,
con el objeto ese como saco el código fuente?
en tu codigo la varable code recoges el codigo de respuesta (200, 300, 400...)
Un saludo

[walterdevel]

Sería algo así:

String ret = "";
try{

URL u = new URL(from_url);
URLConnection uc = u.openConnection();
HttpURLConnection httpConnection = (HttpURLConnection) uc;


uc.addRequestProperty("User-Agent", "agente");//cambia esto, es para que no te detecten como bot

uc.setConnectTimeout(100000);// esto lo use así porque se desconectaba a veces
if(httpConnection.getResponseCode() != 200) {
return "";
}
httpConnection.setFollowRedirects(true);
ret = "";
BufferedReader in = new BufferedReader(new InputStreamReader(uc.getInputStream()));
String inputLine;

while ((inputLine = in.readLine()) != null) {
ret += inputLine;
}
in.close();
httpConnection.disconnect();
} catch(Exception e) {

}
return ret;

[GreenEyed]

Si utilizas una librería de alto nivel como HtmlUnit o HttpUnit que encapsulan todo ese proceso, te ahorrarás muchos dolores de cabeza.

S!