linux去掉文件重复行

在统计某些数据的时候，文件中往往存在一些重复的行，那如何去掉这些重复的行呢？

用强大的awk可以轻松实现文件内容行去重。

awk '!a[$0]++' 文件

例如文件 zhetenga.txt 的内容是

1

1

2

2

3

3

awk '!a[$0]++' zhetenga.txt

将会输出

1

2

3