合并与排序2-uniq

Linux命令uniq的作用是过滤重复部分显示文件内容，这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读取。
使用选项
uniq [选项] 文件
该命令各选项含义如下：、

– c 显示输出中，在每行行首加上本行在文件中出现的次数。它可取代- u和- d选项。

– d 只显示重复行。

– u 只显示文件中不重复的各行。

– n 前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开(字段从0开始编号)。

+n 前n个字符被忽略，之前的字符被跳过(字符从0开始编号)。

– f n 与- n相同，这里n是字段数。

– s n 与+n相同，这里n是字符数。

[root@localhost ~]# cat fruit.txt
apple:10:2.2
orange:4:4.4
orange:4:4.4
banana:11:5.3
pear:11:4.4
pear:11:4.4
[root@localhost ~]# uniq fruit.txt
apple:10:2.2
orange:4:4.4
banana:11:5.3
pear:11:4.4
#uniq命令不加任何参数，仅显示连续重复的行一次
[root@localhost ~]# uniq -c fruit.txt
1 apple:10:2.2
2 orange:4:4.4
1 banana:11:5.3
2 pear:11:4.4
#-c 参数显示文件中每行连续出现的次数。
[root@localhost ~]# cat fruit.txt |sort|uniq -c
1 apple:10:2.2
1 banana:11:5.3
2 orange:4:4.4
2 pear:11:4.4
[root@localhost ~]#
#排序后再显示
[root@localhost ~]# uniq -d fruit.txt
orange:4:4.4
pear:11:4.4
[root@localhost ~]#
-d选项仅显示文件中连续重复出现的行。
[root@localhost ~]# uniq -u fruit.txt
apple:10:2.2
banana:11:5.3
[root@localhost ~]#
#-u选项显示文件中没有连续出现的行。
[root@localhost ~]# cat bb
ai b c d
a i c d
a c d e
b c d e
aa ac d e
[root@localhost ~]# uniq -f 1 bb
ai b c d
a i c d
a c d e
aa ac d e
[root@localhost ~]# uniq -f 2 bb
ai b c d
a c d e
[root@localhost ~]#
#-f 忽略的段数，-f 2 忽略第2段
[root@localhost ~]# cat cc
aa bc dd ee
bb cc dd ee
cc bb dd ee
dd bc ed ee
[root@localhost ~]#
[root@localhost ~]# uniq  -f 1 -s 2 cc
aa bc dd ee
cc bb dd ee
dd bc ed ee
[root@localhost ~]# uniq  -f 1 -s 3 cc
aa bc dd ee
dd bc ed ee
[root@localhost ~]# uniq  -f 1 -s 4 cc
aa bc dd ee
dd bc ed ee
[root@localhost ~]# uniq  -f 1 -s 5 cc
aa bc dd ee
[root@localhost ~]#
#-s是忽略n个字符，然后再匹配  【别忘了空格也是一个字符】