阿里巴巴是个快乐的青年
发布时间:2014-09-10 19:14:32
一、原理 Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如:采用shell脚本语言中的一些命令作为mapper和reducer(cat作为mapper,wc作为reducer) $HADOOP_HOME/.........【阅读全文】
发布时间:2014-03-10 12:40:41
一、端口1、hbase.master.port HBase的Master端口,默认是60000。2、hbase.master.info.port HBase Master web界面端口,设置为-1,意味着你不想运行HBase Master界面,默认是60010。3、hbase.regionserver.port&nbs.........【阅读全文】
发布时间:2014-03-04 19:38:12
一、环境配置 这里选择的环境是hadoop-0.20.2和hbase-0.90.4,Hadoop环境配置参看这里,HBase环境配置请看这里。 需要注意的是,本文的需求是在Hadoop上跑MapReduce job来分析日志并将结果持久化到HBase,所以,在编译程序时,Hadoop需要用到.........【阅读全文】
发布时间:2014-02-28 18:17:06
一、安装 一般HBase最终都会需要与Hadoop集群整合在一起,所以Hadoop版本对HBase部署非常关键,不合适的Hadoop和HBase版本是无法工作的,Hadoop与HBase版本对应关系如下:Table 2.1. Hadoop version support matrix HBa.........【阅读全文】
发布时间:2014-02-26 19:33:15
一、前言 由于后知后觉,以至于此时才开始Hadoop之旅,但《Hadoop权威指南》之类的教程以不能与时俱进,在Hadoop 2.2.0横行的今日难觅可运行只配置,遂想仍以《Hadoop权威指南》为蓝本把玩怀旧版Hadoop-0.20.2。Hadoop-0.20.2已不能从官网的DownLoad中找到,需要从归档地址下载,点.........【阅读全文】