Capturar texto de otra web?

[triqui]

Hola buenas, tengo un problemilla, yo tengo este codigo, esto lo que me hace es me captura el texto de otra web.

Código:

WebRequest request = WebRequest.Create("elmundo.es");

                // Obtenengo la respuesta
                 WebResponse response = request.GetResponse();
             
                // Abrir el stream de la respuesta recibida.
                StreamReader reader = new StreamReader(response.GetResponseStream());

                //Capturo el texto de la web(incluido divs y todo el copon)
                TextoUserWeb = reader.ReadToEnd();
                //cierro el stream
                reader.Close();

Internamente me debe abrir la pagina con Internet Explorer, hay algun parametro donde se le pueda indicar el explorador donde lo quieres abrir, yo por ejemplo quiero abrirla con Firefox

Y otra pregunta, cuando me cojo el texto de la pagina, hay alguna forma de que ignore los divs,etc y coja solo la información de texto?


saludos !!

[mdavila]

Eso es del lado del cliente y me parece que no se puede hacer a menos que tengas un activeX.

[DKain]

Si se puede realizar con cierto grado de alcance, de forma sesgada y no en su totalidad, ademas es algo complejo de usar ya que necesitas:

1.- Validar la URL, existe o no existente
2.- Usar el metodo HttpWebRequest para configurar el uso de la pagina, checa otros foros, sobre todo en ingles, hay mucho del manejo de esta clase, aqui tambien configuras el navegador
3.- Limpiar con Regex tus nodos, en el paso 5 te explicare para que es esto
4.- Usar XmlTextReader (aun cuando sea http, etc) y XmlNodeType para poder manejar la pagina, con esto ignoras las etiquetas que no vayas a usar
5.- Este es el paso mas importante, ya que se van a leer las etiquetas, busca las genericas que sean comunes como title, description, link, etc.

Evalua que tan necesario es el hecho de sacar la información de una pagina por que de entrada es muy extenso de limpiar, por no decir que es casi imposible debido a las diferencias de practicamente TODAS las paginas y que puedas evaluar algo asi. Si algo de lo que te comento te puede servir, utilizalo, ya que es un tema muy extenso y si necesitas acotar este requerimiento, seria mejor, saludos!

[Peterpay]

dkain dijo algo muy cierto , puedes simular que lo abres con firefox solo modificando el useragent.

[triqui]

Si cierto, llegue a la conclusion de hacerlo con useragent

"user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)"

pasandole esto como parametros

gracias a todos.