Hay manera de eliminar url's duplicados (spider)

[alexis77]

Tengo una db de url's generado por un spider, ahora quiero elimnar las url's duplicadas y solo quiero que me quede una sola url por pagina.

Si tengo un listado de url's como esta

http://tupagina.com/index.php
http://www.tupagina.com/eventos.php
http://www.tupagina.com/noticias/index2.php
http://tupagina.com/recientes.php
http://www.tupagina.com/hola.php


al final solo quedaria.

http://tupagina.com/index.php