Podrías usar file() para cargar el archivo en un array, y luego array_unique() para eliminar duplicados.
Cita: Ya he intentado con el array unique pero sin llegar a nada.
Seria cuestión de ver qué has hecho, adivinos no somos.
Cita: Alguno tiene alguna idea de como hacerlo?
Consulta el manual.