Chinaunix首页 | 论坛 | 博客
  • 博客访问: 5646463
  • 博文数量: 291
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 7924
  • 用 户 组: 普通用户
  • 注册时间: 2016-07-06 14:28
个人简介

阿里巴巴是个快乐的青年

文章分类

全部博文(291)

文章存档

2018年(21)

2017年(4)

2016年(5)

2015年(17)

2014年(68)

2013年(174)

2012年(2)

发布时间:2014-09-10 19:14:32

一、原理        Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如:采用shell脚本语言中的一些命令作为mapper和reducer(cat作为mapper,wc作为reducer)        $HADOOP_HOME/.........【阅读全文】

阅读(5546) | 评论(1) | 转发(3)

发布时间:2014-03-04 19:38:12

一、环境配置        这里选择的环境是hadoop-0.20.2和hbase-0.90.4,Hadoop环境配置参看这里,HBase环境配置请看这里。        需要注意的是,本文的需求是在Hadoop上跑MapReduce job来分析日志并将结果持久化到HBase,所以,在编译程序时,Hadoop需要用到.........【阅读全文】

阅读(9057) | 评论(1) | 转发(2)

发布时间:2014-02-26 19:33:15

一、前言        由于后知后觉,以至于此时才开始Hadoop之旅,但《Hadoop权威指南》之类的教程以不能与时俱进,在Hadoop 2.2.0横行的今日难觅可运行只配置,遂想仍以《Hadoop权威指南》为蓝本把玩怀旧版Hadoop-0.20.2。Hadoop-0.20.2已不能从官网的DownLoad中找到,需要从归档地址下载,点.........【阅读全文】

阅读(6930) | 评论(2) | 转发(1)

发布时间:2014-02-23 17:42:12

        这里的开发环境是指:Hadoop集群安装在Linux下,本地开发环境在Windows下用Hadoop-eclipse-plugin,远程连接Linux运行job。一、安装        Hadoop集群安装配置请参看这里,Java与Eclipse的安装配置请参看这里,下面介绍Hadoop-eclipse-p.........【阅读全文】

阅读(9305) | 评论(1) | 转发(1)

发布时间:2014-02-16 09:01:26

一、HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address.........【阅读全文】

阅读(7041) | 评论(0) | 转发(2)
给主人留下些什么吧!~~

silence06072014-09-20 13:30

期待redis运维管理的心得=。=

回复  |  举报

scq2099yt2013-08-23 11:10

电影vs程序员:期待新文章

感谢鼓励

回复  |  举报

电影vs程序员2013-08-22 18:15

期待新文章

回复  |  举报

scq2099yt2013-08-15 10:01

vincent2010_:博主,目前从事运维工作,有没有QQ联系方式,

14046300

回复  |  举报

vincent2010_2013-08-14 18:18

博主,目前从事运维工作,有没有QQ联系方式,

回复  |  举报
留言热议
请登录后留言。

登录 注册