Obtener HTML con ligas completas de paginas hechas con CMS

[sakunix]

Hola que tal, eh estado probando hacer un spider bot que obtenga las ligas de la pagina y las guarde.

toodo bien con la libreria curl de php, se obtiene el codigo HTML generado por las paginas, y se busca href= para obtener la liga.
href="http://drupal.org.es/node
pero me eh encontrado con el problema que las paginas hechas en CMS (drupal,jommla wikis,etc).

las ligas hacia su mismo sitio salen como rutas locales las cuales las da asi:

Código:

<li class="leaf"><a href="/planeta">Planeta DH</a></li>
<li class="leaf"><a href="/manuales">Manuales</a></li>
<li class="leaf"><a href="/foros">Foros</a></li>
<li class="leaf"><a href="/servicios" title="">Servicios</a></li>
<li class="leaf"><a href="/faq">FAQ</a></li>
<li class="leaf"><a href="/drupal">Sobre Drupal</a></li>

a esas ligas les faltaria http://drupal.org.es, alguien sabe como obtener el HTML con la ruta completa?

saludos gracias

[pateketrueke]

a ver, no se trata de ningún truco para obtener la URL completa...

¡solo debes usar tu creatividad e ingenio!!

el primer paso es obtener la URL base, osea, http://el.sitio.com/ ya con esto las rutas que empiecen con / les concatenas dicha URL base...

¿no me digas que no se te había ocurrido?

[sakunix]

gracias por responder, si me había ocurrido pero surge la duda de como voy a saber de todas las posibles ligas cual es la liga base?

si ademas en la pagina ahí ligas de otras paginas D:, pero la idea es viable, solo faltaría saber cual es la url en cuestión a empesar a concatenar

saludos

[pateketrueke]

exacto... todas la URL que comienzan por la / o bien, usan atajos relativos ./ y ../ apuntan a la raíz del sitio principal...

mientras sepas que URL comenzar a leer, entonces ahí ya tienes URL la base...