Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2176622
  • 博文数量: 104
  • 博客积分: 206
  • 博客等级: 入伍新兵
  • 技术积分: 1829
  • 用 户 组: 普通用户
  • 注册时间: 2012-09-12 10:24
个人简介

效字当先,以质为本。测试开发入行十余年,辉煌过,迷茫过,持续探寻人生的激情和前进的步伐!好好生活,认真工作!

文章分类
文章存档

2024年(1)

2019年(2)

2018年(4)

2017年(7)

2016年(3)

2015年(14)

2014年(33)

2013年(31)

2012年(9)

发布时间:2017-11-27 18:30:31

最近有个需求,就是对视频日志中的部分URL提取出来,并随机挑选五条。由于线上日志比较大,而且需要每天执行一次,如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作:1、hadoop集群;2、mapper和reducer划分;初步把提取url的操作划分为mapper中执行,随机挑选5条由reducer去.........【阅读全文】

阅读(20688) | 评论(0) | 转发(0)

发布时间:2015-08-08 21:48:36

本来想着很简单的一个安装,结果花费了一天时间才搞定,中间遇到很多问题,最终安装成功,记录下。
安装步骤简单说下(网上有很多安装详细步骤,这里不详细说明,主要是中间的问题解决):
一、安装jdk1.7,配置环境变量;
二、下载cygwin并安装,记得记得选择openssh包的安装;
三、配置ssh;......【阅读全文】

阅读(3219) | 评论(0) | 转发(0)

发布时间:2014-10-22 18:35:06

自己用python写了个mapreduce程序,结果运行时候一直报错;运行命令:点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -.........【阅读全文】

阅读(9908) | 评论(3) | 转发(1)

发布时间:2014-09-25 16:18:28

为满足公司程序运行环境,hadoop集群由原来的1.0版本升级到CDH5版本,又一次集群安装经历,分享给有需要的人。一、机器准备    Linux版本CentOs 5.8,x86_64,如果你的linux版本是6.x,也可以参照下面步骤安装;本人此次安装共准备了5台机器:192.168.32.70(master),192.168.32.71(slave.........【阅读全文】

阅读(19334) | 评论(2) | 转发(1)

发布时间:2014-09-11 14:36:48

错误:hive> show tables;                          FAILED: Error in metadata: MetaException(message:Got exception: javax.jdo.JDODataStoreException An exception was thrown while adding/validating class(es) : Specified key was too long;.........【阅读全文】

阅读(6492) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

aishiyue2014-06-17 12:05

路过 学习了

回复  |  举报

dsy8510092013-08-29 16:49

电影vs程序员:学习了,留下脚印

我新手,多多支持哦~~~~

回复  |  举报

电影vs程序员2013-08-28 17:21

学习了,留下脚印

回复  |  举报
留言热议
请登录后留言。

登录 注册