Scraping en C#

[iceman_cml]

Hola gente, les comento...estoy haciendo scraping a ciertas paginas porque necesito valores en tiempo real para una base de datos que uso para calcular ciertos valores.

Resulta que necesito los valores de esta página:

http://www.bolsar.com/NET/Cotizacion...?indice=MERVAL

pero cuando hago scraping usando los metodos mas conocidos no logro obtener el codigo html de la misma.

El codigo q utilizo y con el cual obtengo en el 99 % de los casos el html es el siguiente:

HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(url);
webRequest.Timeout = 6000;
HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
Stream responseStream = webResponse.GetResponseStream();

string responseEncoding = webResponse.ContentEncoding.Trim();

if (responseEncoding.Length == 0)
responseEncoding="us-ascii";

StreamReader responseReader = new StreamReader(responseStream, System.Text.Encoding.GetEncoding(responseEncoding) );

sText = responseReader.ReadToEnd();

Donde url es un string con la direccion web de la pagina.

Desde ya muchas gracias.

[Peterpay]

Pero que error te ocurre , te da un timeout de la conexion o q pasa?? digo si no te entrega el html algo debio haber saltado

[iceman_cml]

Iniciado por Peterpay

Pero que error te ocurre , te da un timeout de la conexion o q pasa?? digo si no te entrega el html algo debio haber saltado

Lo que hace es devolverme la pagina de error de la web a la que estoy accediendo.

http://www.bolsar.com/NET/error.html

Gracias por la pronta respuesta.

[Peterpay]

ok estas iterando sobre una lista de stocks , entonces verifica q ese simbolo este correcto si no esta incorrecto entonces checa

request.AllowAutoRedirect = false; para q no te redireccion y no se muera con el timeout de tu transaccion.

y si no te funciona revisa antes

if response.StatusCode != HttpStatusCode.Found

entonces fallo

else

continuar.

pero primero revisa q tu dato de entrada no sea incorrecto

[iceman_cml]

Iniciado por Peterpay

ok estas iterando sobre una lista de stocks , entonces verifica q ese simbolo este correcto si no esta incorrecto entonces checa

request.AllowAutoRedirect = false; para q no te redireccion y no se muera con el timeout de tu transaccion.

y si no te funciona revisa antes

if response.StatusCode != HttpStatusCode.Found

entonces fallo

else

continuar.

pero primero revisa q tu dato de entrada no sea incorrecto

Gracias por la ayuda, te comento. Le saque el timeout, le subi el tiempo a muchisimo. Agregue la linea request.AllowAutoRedirect = false; y lo que sucede ahora es que me devuelve un codigo html con un link que me redirecciona a la pagina de error. Mi pregunta es posible que exista algun metodo anti-scraping.

[Peterpay]

claro q los hay y tan los hay q tienes al bendito ajax q vino a complicarlas cosas tu haces un requeste en el tiempo n y el ajax carga algun contenido mas en el tiempo n + 1 pero tu estas un paso atras. te recomeindo q le des una vuelta a perl porq para esto es buenisimo y no tiene tantos problemas con render asincrono.

yo he visto este tipo de comportamieto en sitios como imdb.com, yahoo.com google.com y otros como money.com la opcion es hacer multiples requests en tiempos distintos para poder checar q tus datos son iguales pero uno nunca sabe cuanto puede llegar a tardar un dato.

[iceman_cml]

Bueno encontre la solucion:

webRequest.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; es-ES; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14";

Hay que agregar esa linea de codigo para que el iis sea bueno y te de el codigo. Saludos.