提取大文件的某一列

侠客 CU编号： 2079224 注册：2009-7-10 最后登录： 2009-08-06 帖子： 精华：0 状态：...在线... [] [] [博客]

[]     发表于 2009-8-6 10:09  我通过文件合并得到了一个很大的文件，大概有7~8G，数据量很大，而我只想提取出某一列来进行处理。 我原先的想法是通过 awk 提取出这个文件的某一列，然后再处理，但是由于文件太大，使用 awk 提取列的时候花费的时间太长了，过了20多分钟都没有结束。 我想问一下，在shell中，除了 awk 可以提取某一列外，是不是没有别的工具或命令了啊？ 谢谢！ 您对本贴的看法： | | |

圣骑士 CU编号： 763290 注册：2008-9-16 最后登录： 2009-08-06 帖子： 精华：0 状态：...离线... [] [] [博客]

[]     发表于 2009-8-6 10:10  cut 命令可以 您对本贴的看法： | | |

圣骑士 CU编号： 763290 注册：2008-9-16 最后登录： 2009-08-06 帖子： 精华：0 状态：...离线... [] [] [博客]

[]     发表于 2009-8-6 10:12  刚查了下 cut -d'分割符' -f 第几列 您对本贴的看法： | | |

(同态) 风云使者 CU编号： 451045 注册：2006-8-7 最后登录： 2009-08-06 帖子： 精华：0 状态：...离线... [] [] [博客]

[]     发表于 2009-8-6 10:13  我奇怪的是什么样的文本能有7,8G那么大。 您对本贴的看法： | | |

圣骑士 CU编号： 763290 注册：2008-9-16 最后登录： 2009-08-06 帖子： 精华：0 状态：...离线... [] [] [博客]

[]     发表于 2009-8-6 10:13  不过你试下这个cut效率如何？ 您对本贴的看法： | | |

圣骑士 CU编号： 763290 注册：2008-9-16 最后登录： 2009-08-06 帖子： 精华：0 状态：...离线... [] [] [博客]

[]     发表于 2009-8-6 10:14  7,8G应该也是正常范围吧 您对本贴的看法： | | |

精灵 CU编号： 1127759 注册：2009-3-16 最后登录： 2009-08-06 帖子： 精华：0 状态：...在线... [] [] [博客]

[]     发表于 2009-8-6 10:18  QUOTE: 原帖由 yy_galois 于 2009-8-6 10:13 发表 我奇怪的是什么样的文本能有7,8G那么大。 手机号码。 您对本贴的看法： | | |

(黑哥) 法师 CU编号： 631768 注册：2007-10-22 最后登录： 2009-08-06 帖子： 精华：0 来自：小山村 状态：...在线... [] [] [博客]

[]     发表于 2009-8-6 10:23  回复 #1 yiyeguhong 的帖子 awk的效率也没有这么差吧。是不是命令有问题？ 您对本贴的看法： __________________________________ LIVE FREE OR DIE!     K.I.S.S. | | |

(同态) 风云使者 CU编号： 451045 注册：2006-8-7 最后登录： 2009-08-06 帖子： 精华：0 状态：...离线... [] [] [博客]

[]     发表于 2009-8-6 10:27  回复 #7 小木虫子 的帖子 一个人的全部信息，包括出生年月，籍贯，手机号码，学习工作经历等，最多大概也就是1k。 7，8G就等于大约 0.1亿人口的全部信息。这么多人口的信息怎么掌握在你手中，就算是一条信息买1毛钱，那也有100万，你岂不发了，还做程序员干嘛？ 您对本贴的看法： | | |

(好运)

法师
休息休息

CU编号： 713644
注册：2008-6-3
最后登录： 2009-08-06
帖子：
精华：







来自：厦门
状态：...在线...

[] [] [博客]

[]    

发表于 2009-8-6 10:49 

导入数据库、建索引查询

风云使者 CU编号： 690903 注册：2008-4-13 最后登录： 2009-08-06 帖子： 精华：0 状态：...在线... [] [] [博客]

[]       发表于 2009-8-6 10:59  回复 #9 yy_galois 的帖子 这个事情不能做，犯法的！　:mrgreen: :mrgreen: 您对本贴的看法： | | |

(暗夜星空) 老法王 休息休息 CU编号： 306408 注册：2005-8-25 最后登录： 2009-08-06 帖子： 精华：0 来自：广州<-->杭州 状态：...在线... [] [] [博客]

[]     发表于 2009-8-6 11:05  回复 #11 greendays 的帖子 我手上有10亿个手机号码..但我不知道是谁的~:m01: :m01: 您对本贴的看法： __________________________________ 有时候回答问题是信口开河...... 因此不保证所有回复问题的答案的准确性. 如果正好是对的,那是碰到了死耗子..呵呵. 想着休息,不想做事! | | |

风云使者 CU编号： 690903 注册：2008-4-13 最后登录： 2009-08-06 帖子： 精华：0 状态：...在线... [] [] [博客]

[]       发表于 2009-8-6 11:08  回复 #12 liaosnet 的帖子 :mrgreen: 您对本贴的看法： | | |

侠客 CU编号： 2079224 注册：2009-7-10 最后登录： 2009-08-06 帖子： 精华：0 状态：...在线... [] [] [博客]

[]     发表于 2009-8-6 11:08  如果每秒你处理5000个请求，每个请求要写的字符数载600个左右，然后你持续写上2~3天，就可以达到这么多了。 我也不想这么多。但是没办法。很郁闷啊。:em16: :em16: :em16: 您对本贴的看法： | | |

风云使者 CU编号： 690903 注册：2008-4-13 最后登录： 2009-08-06 帖子： 精华：0 状态：...在线... [] [] [博客]

[]       发表于 2009-8-6 11:10  回复 #14 yiyeguhong 的帖子 呵呵　　　用ibm 的高配server. 您对本贴的看法： | | |

(暗夜星空) 老法王 休息休息 CU编号： 306408 注册：2005-8-25 最后登录： 2009-08-06 帖子： 精华：0 来自：广州<-->杭州 状态：...在线... [] [] [博客]

[]     发表于 2009-8-6 11:12  这活还是用数据库做吧~~导个7G,8G的数据也就几分钟而已~你用awk读一次也要花些时间~ 您对本贴的看法： __________________________________ 有时候回答问题是信口开河...... 因此不保证所有回复问题的答案的准确性. 如果正好是对的,那是碰到了死耗子..呵呵. 想着休息,不想做事! | | |

» » »

2