Extraer las url de un sitio web completo c#

[Peterpay]

Necesitaras usar regex para sacar los url's pero el detalle esta en definir las reglas que hagan el parado de tu busqueda, usar algun arbol para no recorrer 2 veces la misma rama del arbol de links y ya.

hace tiempo encontre un articulo que hablaba de como hacer un buen robot extractor optimizando todos esos aspectos para poder mantener la aplicacion lo mas eficiente y funcional posible, lo busco y con gusto lo publico en el faq.