Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1526994
  • 博文数量: 147
  • 博客积分: 7697
  • 博客等级: 少将
  • 技术积分: 3060
  • 用 户 组: 普通用户
  • 注册时间: 2006-03-10 23:04
个人简介

MiBDP,数据开发、项目团队、数据应用和产品在路上,金融保险、互联网网游、电商、新零售行业、大数据和AI在路上。对数仓、模型、ETL、数据产品应用了解。DTCC 2013演讲嘉宾,曾做过两款大获好评的数据产品平台。知识星球ID:35863277

文章分类
文章存档

2019年(2)

2017年(2)

2016年(5)

2015年(1)

2014年(1)

2013年(6)

2012年(5)

2011年(24)

2010年(28)

2009年(1)

2008年(6)

2007年(30)

2006年(36)

分类:

2010-11-01 17:22:05

通过shell命令来处理文件中的重复记录:

awk '! a[$0]++' 4.txt >5.txt
这个是删除文件中所有列都重复的记录
awk '! a[$1]++' 5.txt >6.txt
删除文件中第一列重复的记录
awk '! a[$1,$2]++' 5.txt >6.txt
删除文件中第一,二列都重复的记录



阅读(2588) | 评论(1) | 转发(0) |
0

上一篇:java 关键字记录

下一篇:oracle wallet

给主人留下些什么吧!~~

chinaunix网友2010-11-02 17:15:28

很好的, 收藏了 推荐一个博客,提供很多免费软件编程电子书下载: http://free-ebooks.appspot.com

评论热议
请登录后评论。

登录 注册