linux shell编程--文件合并与分割

1、  Sort

sort命令的一般格式为：

sort -cmu -o output_file [other options] +pos1 +pos2 input_files

常用参数：

-c 测试文件是否已经分类。

-m 合并两个分类文件。

-u 删除所有复制行。

-o 存储s o r t结果的输出文件名。

-t 域分隔符；用非空格或t a b键分隔域。

-r 对分类次序或比较求逆。

e.g. sort –t: -r –k4  video.txt|tail -1 |awk –F ‘{print “Worst rental “,$1,” has been rented”$3}’

2、  uinq

u n i q用来从一个文本文件中去除或禁止重复行。一般u n i q假定文件已分类，并且结果正确。在u n i q里意即持续不断重复出现的行，中间不夹杂任何其他文本。

命令一般格式：uniq –u d c –f input-file out-file

其选项含义：

-u  只显示不重复行。

-d  只显示有重复数据行，每种重复行只显示其中一行

-c  打印每一重复行出现次数。

-f   n为数字，前n个域被忽略。

3、  join用来将来自两个分类文本文件的行连在一起。

4、  cut

c u t用来从标准输入或文本文件中剪切列或域。

c u t一般格式为：cut [options] file1 file2

选项：

-c list 指定剪切字符数。

-f field 指定剪切域数。

-d 指定与空格和t a b键不同的域分隔符。

e.g. cut –d: -f1,6 /etc/passwd

5、  paste

p a s t e格式为；paste -d -s -file1 file2

选项含义如下：

-d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用- d @。

-s 将每个文件合并成行而不是按行粘贴。

- 使用标准输入。

6、  s p l i t用来将大文件分割成小文件

s p l i t命令一般格式：split -output_file-size input-filename output-filename

这里o u t p u t - f i l e - s i z e指的是文本文件被分割的行数。