使用Python和Hadoop Streaming编写MapReduce_dsy851009-ChinaUnix博客

Chinaunix首页 | 论坛 | 博客

加油！qq395085498，欢迎探讨

首页　| 　博文目录　| 　关于我

博客访问： 2176564
博文数量： 104
博客积分： 206
博客等级：入伍新兵
技术积分： 1829
用户组：普通用户
注册时间： 2012-09-12 10:24

个人简介

效字当先，以质为本。测试开发入行十余年，辉煌过，迷茫过，持续探寻人生的激情和前进的步伐！好好生活，认真工作！

文章分类

全部博文（104）

大模型应用（1）
质量（0）
web前端（1）
Java自动化（6）
性能测试（4）
pig学习（1）
软件测试面试题（2）
持续集成（4）
软件测试（5）
测试BUG部分记录（2）
hadoop学习（13）
python学习（52）
linux学习（13）
未分配的博文（0）

文章存档

2024年（1）

2019年（2）

2018年（4）

2017年（7）

2017年11月（1）
2017年10月（1）
2017年05月（2）
2017年04月（1）
2017年02月（2）

2016年（3）

2015年（14）

2014年（33）

2013年（31）

2012年（9）

我的朋友

最近访客

推荐博文

使用Python和Hadoop Streaming编写MapReduce

发布时间：2017-11-27 18:30:31

最近有个需求，就是对视频日志中的部分URL提取出来，并随机挑选五条。由于线上日志比较大，而且需要每天执行一次，如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作：1、hadoop集群；2、mapper和reducer划分；初步把提取url的操作划分为mapper中执行，随机挑选5条由reducer去.........【阅读全文】

阅读(20688) | 评论(0) | 转发(0)

给主人留下些什么吧！~~

aishiyue2014-06-17 12:05

路过学习了

回复　　| 　举报

dsy8510092013-08-29 16:49

电影vs程序员：学习了，留下脚印

我新手，多多支持哦~~~~

回复　　| 　举报

电影vs程序员2013-08-28 17:21

学习了，留下脚印

回复　　| 　举报

留言热议

请登录后留言。

关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们