Bash Script, eliminar lineas repetidas en fichero

[Sh4ka]

Estoy realizando un script en bash, y necestio filtrarlas IPs repetidas que se encuentran en un fichero.. Como puedo hacerlo??

Por ej, tengo un fichero ($FICHERO) que contiene las siguientes IPs, y deseo hacer:

grep IP $FICHERO ---> y que solo me liste las IPs únicas, o sea, que no me repita las que estan varias veces en el fichero, que solo la liste una vez.. por ej, la IP 65.54.188.86 que solo la liste una vez y no las veces que aparece.. entienden ?

CONTENIDO DEL FICHERO:

Código:

65.54.188.86
65.54.188.86
65.54.188.86
65.54.188.86
65.54.188.86
65.54.188.86
65.54.188.86
201.110.43.167
65.54.188.86
65.54.188.86
80.102.4.12
88.11.86.118
66.228.118.86
66.154.103.144
80.102.1.21
66.228.118.86
66.249.66.133
201.129.171.224
201.129.171.224
201.129.171.224
201.147.84.182
200.83.21.93
200.83.21.93
66.228.118.86
201.110.46.119
83.45.111.135
200.77.103.127

Alguna idea ?

Gracias.

[Koveart]

¿has probado con uniq? Mira el man, tiene opciones bien interesantes.

man uniq

Saludos

[Sh4ka]

Recien hace 5 minutos lo he visto.. ya venia intentando con uniq y todos sus parametros, y no andaba de esa manera.. hasta que 1 instante antes de ver tu post lo probe solo haciendo grep expresion archivo | uniq , y lo ha hecho como quería, igual gracias Koveart, si no hubiera probado eso seguramente tu me hubieras dado el rumbo correcto ;)

Salu2.

[Sh4ka]

MMM.. bad news :(

Uniq sin parametros sigue borrando solo las lineas repetidas consecutivas, no las de TODO el fichero.. igual con uniq -u :(, ya he probado todo respecto a este comando.. :(

Alguna idea ??

[Koveart]

Hace poco vi este post en el foro a lo mejor te despeja unascuantas dudas...

Hace un uso impecable de lo que tu necesitas...Es un gran ejemplo. Si sigues con dudas podemos seguir intentando.

Saludos

[-Defero-]

Yo primero las ordenaría mediante SORT (de esta manera las que sean iguales estarán seguidas), y luego eliminaría las repetidas mediante UNIQ. Salvo que el orden de las IPs tenga importancia.

[Sh4ka]

"sort -n | uniq -dc" ha sido lo que necesitaba :D
Ha funcionado como dices Defero, gracias !! Tambien gracias a ti Koby!
salu2

[-Defero-]

Iniciado por Sh4ka

(...) Koby (...)

¿Te refieres quizás a Kobe Bryant? ¿O tal vez a Cobi?

[Sh4ka]

Jajajaja.. , por ninguno de los 2, pero me gusta la idea de ver el avatar de KoveArt con el perrito (gato o lo que sea, una especie de criatura es) Coby en vez de con ese avatar tan pensativo

Gracias x todo a ambos.