Hola:
En java, con la clase HTTPUrlConnection y su método getInputStream() puedes obtener el contenido de la página. Luego, usando
expresiones regulares, puedes buscar los enlaces.
Lo de usar otro lenguaje... con java se puede hacer y seguramente con otros lenguajes también.
Se bueno.