Comando Uniq - Bash Linux - Ubuntu, Debian, RHEL (Red Hat Enterprise Linux)

Quer uma forma fácil de remover as linhas duplicadas de um arquivo?

Para isso basta apenas usar o comando uniq.

cat arquivo  | uniq

Caso vc queira contar a quantidade de linhas duplicadas:

cat arquivo  | uniq -c

Caso vc queira listar apenas a linhas duplicadas:

cat arquivo  | uniq -cd

Isso é tudo pessoal!!

Grande abraço!