Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1058663
  • 博文数量: 98
  • 博客积分: 206
  • 博客等级: 入伍新兵
  • 技术积分: 1755
  • 用 户 组: 普通用户
  • 注册时间: 2012-09-12 10:24
  • 认证徽章:
个人简介

奇虎360测试开发工程师,诚招中高级测试开发工程,有意向私信

文章分类
文章存档

2018年(5)

2017年(7)

2016年(3)

2015年(13)

2014年(31)

2013年(31)

2012年(8)

发布时间:2017-11-27 18:30:31

最近有个需求,就是对视频日志中的部分URL提取出来,并随机挑选五条。由于线上日志比较大,而且需要每天执行一次,如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作:1、hadoop集群;2、mapper和reducer划分;初步把提取url的操作划分为mapper中执行,随机挑选5条由reducer去.........【阅读全文】

阅读(7070) | 评论(0) | 转发(0)

发布时间:2015-08-08 21:48:36

本来想着很简单的一个安装,结果花费了一天时间才搞定,中间遇到很多问题,最终安装成功,记录下。
安装步骤简单说下(网上有很多安装详细步骤,这里不详细说明,主要是中间的问题解决):
一、安装jdk1.7,配置环境变量;
二、下载cygwin并安装,记得记得选择openssh包的安装;
三、配置ssh;......【阅读全文】

阅读(1180) | 评论(0) | 转发(0)

发布时间:2014-09-25 16:18:28

为满足公司程序运行环境,hadoop集群由原来的1.0版本升级到CDH5版本,又一次集群安装经历,分享给有需要的人。一、机器准备    Linux版本CentOs 5.8,x86_64,如果你的linux版本是6.x,也可以参照下面步骤安装;本人此次安装共准备了5台机器:192.168.32.70(master),192.168.32.71(slave.........【阅读全文】

阅读(16030) | 评论(2) | 转发(1)

发布时间:2014-09-11 14:36:48

错误:hive> show tables;                          FAILED: Error in metadata: MetaException(message:Got exception: javax.jdo.JDODataStoreException An exception was thrown while adding/validating class(es) : Specified key was too long;.........【阅读全文】

阅读(3810) | 评论(0) | 转发(0)

发布时间:2014-07-22 12:25:00

一、pig官方下载地址: http://pig.apache.org  ,Project — Releases 选择最新版本或者你需要的版本下载,存放到本地,本人习惯存在于这样的目录:/opt/hadoop/pig-0.13.0/二、配置环境变量    vim /etc/profile/       增加:export PATH=$PATH:/opt/hadoop/pig-0.........【阅读全文】

阅读(1410) | 评论(1) | 转发(0)
给主人留下些什么吧!~~

aishiyue2014-06-17 12:05

路过 学习了

回复  |  举报

dsy8510092013-08-29 16:49

电影vs程序员:学习了,留下脚印

我新手,多多支持哦~~~~

回复  |  举报

电影vs程序员2013-08-28 17:21

学习了,留下脚印

回复  |  举报
留言热议
请登录后留言。

登录 注册