extraer links de una pagina web

sysrj · #1 (**permalink**) 13/04/2011, 13:36

Hola

Como estan me podrian ayudar como puedo extraer links de una pagina web con javascript, tanto en texto plano como en link href.

Lo quiero realizar en un solo paso con la misma funcion.

ejemplo para extraer link href.

http://megamixesvip.blogspot.com/2011/04/dj-miguelithooo-kumbia-con-sax-2011.html

ejemplo para extraer en texto plano.

http://megamixesvip.blogspot.com/2011/03/miguel-vargas-remixes-marzo.html

les dejo unos ejemplos

gracias

laratik · #2 (**permalink**) 13/04/2011, 15:14

No he entendido muy bien lo de extraer como texto plano y como link href, de todas maneras te coloco un ejemplo de como seleccionar el atributo href de todos los links que tenga una pagina:

Código HTML:

<html>
<head>
<script type="text/javascript">
function extraer() {
	var enlaces = document.getElementsByTagName("a");
	var mostrar = document.getElementById("mostrar");
	for(var i=0; i<enlaces.length; i++) {
		mostrar.appendChild(document.createTextNode(enlaces.item(i).getAttribute("href")));
		mostrar.appendChild(document.createElement("br"));
	}
}
</script>
</head>
<body>

<a href="http://www.google.com">google</a>
<a href="http://http://www.forosdelweb.com">foros del web</a>

<input type="button" value="extraer href" onClick="extraer()" />

<div id="mostrar"></div>

</body>
</html>

Si no es lo que buscas, por favor trata de ser un poco más explicito.

sysrj · #3 (**permalink**) 13/04/2011, 15:31

Disculpa por no darme a entender mira mi duda es poder extraer todo el contenido de la cualquier pagina web, extraer todo lo que contenga http y www

digamos en este ejemplo poder extraer toda la cadena que cumplan con esa condicion.

<link rel="stylesheet" type="text/css" href="http://static.forosdelweb.com/clientscript/fdwforumhome/headmenu.css?v=7" />
<link rel="stylesheet" type="text/css" href="http://static.forosdelweb.com/clientscript/fdwforumhome/shared.css?v=8" />

<style type="text/css" id="vbulletin_css">
/**
* vBulletin 3.8.6 CSS
* Style: 'Fdw 2011'; Style ID: 11
*/
@import url("clientscript/vbulletin_css/style-cc5a7cae-00011.css");
</style>
<link rel="stylesheet" type="text/css" href="clientscript/vbulletin_important.css?v=384" />


<style type="text/css" id="vbulletin_editor_css_dynamic">
<!--
@import url("http://static.forosdelweb.com/clientscript/vbulletin_editor.css?v=384");

zerokilled · #4 (**permalink**) 13/04/2011, 15:35

buenas @sysrj,
por favor, mantenga un tema a la vez si se trata de lo mismo. basicamente necesitas expresiones regulares para extraer las URLs. sin embargo, "extraer todo el contenido de la cualquier pagina web", me temo que eso no lo vas a poder lograr porque javascript no tiene la capacidad de interactuar con otros documentos que no sean del mismo dominio. es la seguridad de politica del mismo origen.

InKarC · #5 (**permalink**) 13/04/2011, 15:37

Simplemente pega esto en la barra de direcciones (+ enter) y mágicamente te mostrara la lista de todos los links de cualquier pagina:

Cita:

javascript: var lista_nodos = document.getElementsByTagName("a"); var hrefs = ""; for(i=0;i<lista_nodos.length;i++) {hrefs += lista_nodos[i].href + "\n"}; document.getElementsByTagName("body")[0].innerHTML = hrefs;

------------------------

Para hacer un aporte educativo voy a explicar que es lo que hace; primero guarda todos los elementos "a" (o sea los links) en una variable que se llama lista_nodos

Cita:

var lista_nodos = document.getElementsByTagName("a");

Luego creo una variable de texto vacia (se coloca que este vacia ("") para que no aparesca undefined en primera anexacion)

Cita:

var hrefs = "";

Luego simplemente con un for se explora todos los elementos guardados en lista_nodos y anexa su href dentro de la variable "hrefs" que acabamos de crear, se coloca "\n" para crear un salto de linea despues de cada link.

Cita:

for(i=0;i<lista_nodos.length;i++) {hrefs += lista_nodos[i].href + "\n"};

Luego cuando ha terminado convierte todo el documento actual (body) en la lista guardad en href.

Cita:

document.getElementsByTagName("body")[0].innerHTML = hrefs;

Saludos.

sysrj · #6 (**permalink**) 13/04/2011, 16:28

Si lo quiero realizar desde un script y no pegandolo en la barra del navegador como quedaria todo el script soy nuevo en esto

asi como dandole una url de entrada para que verifiuqe todo los href y www.

Gracias por tu ayuda.

InKarC · #7 (**permalink**) 13/04/2011, 17:07

Desde otro dominio no es posible hacerlo con Javascript, necesitarías usar PHP o algun otro lenguaje de servidor.

En caso de intentar hacerlo con PHP lee lo que mas puedas acerca de CURL.