全部博文(2759)
发布时间:2014-03-06 02:31:16
一、安装 一般HBase最终都会需要与Hadoop集群整合在一起,所以Hadoop版本对HBase部署非常关键,不合适的Hadoop和HBase版本是无法工作的,Hadoop与HBase版本对应关系如下:Table 2.1. Hadoop version support matrix HBa.........【阅读全文】
发布时间:2014-03-03 09:00:03
一、前言 由于后知后觉,以至于此时才开始Hadoop之旅,但《Hadoop权威指南》之类的教程以不能与时俱进,在Hadoop 2.2.0横行的今日难觅可运行只配置,遂想仍以《Hadoop权威指南》为蓝本把玩怀旧版Hadoop-0.20.2。Hadoop-0.20.2已不能从官网的DownLoad中找到,需要从归档地址下载,点.........【阅读全文】
发布时间:2014-03-03 08:50:14
这里的开发环境是指:Hadoop集群安装在Linux下,本地开发环境在Windows下用Hadoop-eclipse-plugin,远程连接Linux运行job。一、安装 Hadoop集群安装配置请参看这里,Java与Eclipse的安装配置请参看这里,下面介绍Hadoop-eclipse-p.........【阅读全文】
发布时间:2014-02-17 08:37:15
Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。对于我来说,最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大,而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景)。今天我们来实际搭建一下H.........【阅读全文】
发布时间:2014-02-11 13:12:02
为了实现横向扩展(scaling out),需要把数据存储在分布式文件系统中,一般为HDFS,由此允许Hadoop将MapReduce计算移到存储有部分数据的各台机器上。一、数据流 MapReduce作业(job)是客户端需要执行的一个工作单元,.........【阅读全文】