shell处理文件中的重复记录-hero--008-ChinaUnix博客

个人简介

MiBDP,数据开发、项目团队、数据应用和产品在路上，金融保险、互联网网游、电商、新零售行业、大数据和AI在路上。对数仓、模型、ETL、数据产品应用了解。DTCC 2013演讲嘉宾，曾做过两款大获好评的数据产品平台。知识星球ID:35863277

文章分类

文章存档

2011年（24）

2010年（28）

2007年（30）

2006年（36）

我的朋友

最近访客

推荐博文

shell处理文件中的重复记录

分类：

2010-11-01 17:22:05

通过shell命令来处理文件中的重复记录：

awk '! a[$0]++' 4.txt >5.txt 这个是删除文件中所有列都重复的记录 awk '! a[$1]++' 5.txt >6.txt 删除文件中第一列重复的记录 awk '! a[$1,$2]++' 5.txt >6.txt 删除文件中第一，二列都重复的记录

阅读(3528) | 评论(1) | 转发(0) |

给主人留下些什么吧！~~

chinaunix网友2010-11-02 17:15:28

很好的, 收藏了推荐一个博客，提供很多免费软件编程电子书下载： http://free-ebooks.appspot.com

感谢所有关心和支持过ChinaUnix的朋友们