Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2040352
  • 博文数量: 470
  • 博客积分: 10206
  • 博客等级: 上将
  • 技术积分: 5620
  • 用 户 组: 普通用户
  • 注册时间: 2008-07-03 12:50
文章分类

全部博文(470)

文章存档

2012年(1)

2011年(18)

2010年(47)

2009年(404)

分类:

2009-04-10 22:10:43

有7个文档  每个大概在100万行左右
现在要把7个文档合并到一个新的文档
这7个文档中的其中某几个文档会存在相同内容的行
要求新的文档中的内容是7个文档中的所有出现的内容
重复出现的只记出现一次
比如
A文档中内容是:  1234
B                :  1256
C                :  1378
D                :  1257
E                :   56
F                : 3
G                :   45
那么要求出现的新文档中的内容要求是12345678
当然其中每个数字都是单独的一行  这里排版不方便
高手大大们帮帮忙吧



您对本贴的看法:
| |
  帅哥 (黑哥)
精灵使



CU编号: 631768
注册:2007-10-22
最后登录: 2009-04-10
帖子:
精华:0







状态:...在线...

[] [] [博客]


[]     顶部
发表于 2009-4-10 13:20 
回复 #1 xiachunmen 的帖子

sort -u files



您对本贴的看法:

__________________________________

LIVE FREE OR DIE!     K.I.S.S.


| |

新手




CU编号: 1341086
注册:2009-4-9
最后登录: 2009-04-10
帖子:
精华:0







状态:...离线...

[] [] [博客]


[]     顶部
发表于 2009-4-10 13:28 
不是很能理解黑哥说的
能写详细些么?



您对本贴的看法:
| |
  帅哥 (黑哥)
精灵使



CU编号: 631768
注册:2007-10-22
最后登录: 2009-04-10
帖子:
精华:0







状态:...在线...

[] [] [博客]


[]     顶部
发表于 2009-4-10 13:29 
awk '!a[$0]++' files



您对本贴的看法:

__________________________________

LIVE FREE OR DIE!     K.I.S.S.


| |

新手




CU编号: 1341086
注册:2009-4-9
最后登录: 2009-04-10
帖子:
精华:0







状态:...离线...

[] [] [博客]


[]     顶部
发表于 2009-4-10 13:32 
我实在是很笨  而且超级新手刚接触AWK
黑哥 就拿我给的例子里的文档写个完整的代码出来吧  新文档叫X.txt好了   麻烦黑哥了



您对本贴的看法:
| |
  帅哥 (黑哥)
精灵使



CU编号: 631768
注册:2007-10-22
最后登录: 2009-04-10
帖子:
精华:0







状态:...在线...

[] [] [博客]


[]     顶部
发表于 2009-4-10 13:34 
回复 #5 xiachunmen 的帖子

sort -u {A..G} > X.txt
awk '!a[$0]++' {A..G} > X.txt



您对本贴的看法:

__________________________________

LIVE FREE OR DIE!     K.I.S.S.


| |

新手




CU编号: 1341086
注册:2009-4-9
最后登录: 2009-04-10
帖子:
精华:0







状态:...离线...

[] [] [博客]


[]     顶部
发表于 2009-4-10 13:35 
好的  谢谢黑哥  我去试试


阅读(363) | 评论(0) | 转发(0) |
0

上一篇:echo -n

下一篇:替换问题

给主人留下些什么吧!~~