按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 3
dsy851009 | 2017-11-27 18:30:31 | 阅读(7880) | 评论(0)
最近有个需求,就是对视频日志中的部分URL提取出来,并随机挑选五条。由于线上日志比较大,而且需要每天执行一次,如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作:1、hadoop集群;2、mapper和reducer划分;初步把提取url的操作划分为mapper中执行,随机挑选5条由reducer去...【阅读全文】
【Python/Ruby】 部署hadoop2.6
ITdianfeng | 2015-04-15 16:02:22 | 阅读(0) | 评论(0)
在部署hadoop2.6之前的前置任务:1、禁止selinuxsetenforce 0修改vi /etc/selinux/config的参数如下:SELINUX=disabled2、关闭赌博防火墙iptables -Fservice iptables saveservice iptables stopchkconfig --level 2345 iptables off########################################################一:配置域名解析...【阅读全文】
【Python/Ruby】 Hadoop的Python语言封装
yueming | 2011-11-15 00:08:54 | 阅读(2388) | 评论(0)