Chinaunix首页 | 论坛 | 认证专区 | 博客 登录 | 注册

Nothing

王者风范,大家闺秀;python初学者群 14297263

  • 博客访问: 978881
  • 博文数量: 97
  • 博客积分: 206
  • 博客等级: 入伍新兵
  • 技术积分: 1700
  • 用 户 组: 普通用户
  • 注册时间: 2012-09-12 10:24
  • 认证徽章:
个人简介

除了努力还要有机遇,有情商

文章分类
文章存档

2017年(7)

2016年(3)

2015年(14)

2014年(33)

2013年(31)

2012年(9)

微信关注

IT168企业级官微



微信号:IT168qiye



系统架构师大会



微信号:SACC2013

订阅
热词专题

发布时间:2017-11-27 18:30:31

最近有个需求,就是对视频日志中的部分URL提取出来,并随机挑选五条。由于线上日志比较大,而且需要每天执行一次,如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作:1、hadoop集群;2、mapper和reducer划分;初步把提取url的操作划分为mapper中执行,随机挑选5条由reducer去.........【阅读全文】

阅读(502) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

aishiyue2014-06-17 12:05

路过 学习了

回复  |  举报

dsy8510092013-08-29 16:49

电影vs程序员:学习了,留下脚印

我新手,多多支持哦~~~~

回复  |  举报

电影vs程序员2013-08-28 17:21

学习了,留下脚印

回复  |  举报
留言热议
请登录后留言。

登录 注册