加油!
dsy851009
效字当先,以质为本。
全部博文(103)
2019年(2)
2018年(4)
2017年(7)
2016年(3)
2015年(14)
2014年(33)
2013年(31)
2012年(9)
Crazy_Gu
china_Li
凤城骄子
fu372260
cnnic171
zl624867
danliz_n
haber001
qinchaow
lckj78
Fennn
w_s2000
Db857307
丸喵喵
huodiewj
yangpeng
学习的菜
广州佰德
发布时间:2017-11-27 18:30:31
最近有个需求,就是对视频日志中的部分URL提取出来,并随机挑选五条。由于线上日志比较大,而且需要每天执行一次,如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作:1、hadoop集群;2、mapper和reducer划分;初步把提取url的操作划分为mapper中执行,随机挑选5条由reducer去.........【阅读全文】
aishiyue2014-06-17 12:05
路过 学习了
dsy8510092013-08-29 16:49
电影vs程序员:学习了,留下脚印
我新手,多多支持哦~~~~
电影vs程序员2013-08-28 17:21
学习了,留下脚印
登录 注册