Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4369251
  • 博文数量: 291
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 7924
  • 用 户 组: 普通用户
  • 注册时间: 2016-07-06 14:28
  • 认证徽章:
个人简介

阿里巴巴是个快乐的青年

文章分类

全部博文(291)

文章存档

2018年(21)

2017年(4)

2016年(5)

2015年(17)

2014年(68)

2013年(174)

2012年(2)

发布时间:2014-02-23 17:42:12

        这里的开发环境是指:Hadoop集群安装在Linux下,本地开发环境在Windows下用Hadoop-eclipse-plugin,远程连接Linux运行job。一、安装        Hadoop集群安装配置请参看这里,Java与Eclipse的安装配置请参看这里,下面介绍Hadoop-eclipse-p.........【阅读全文】

阅读(6359) | 评论(1) | 转发(1)

发布时间:2014-02-16 09:01:26

一、HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address.........【阅读全文】

阅读(5445) | 评论(0) | 转发(2)

发布时间:2014-02-10 21:29:28

        为了实现横向扩展(scaling out),需要把数据存储在分布式文件系统中,一般为HDFS,由此允许Hadoop将MapReduce计算移到存储有部分数据的各台机器上。一、数据流        MapReduce作业(job)是客户端需要执行的一个工作单元,.........【阅读全文】

阅读(4095) | 评论(1) | 转发(1)

发布时间:2014-02-04 22:28:09

        MapReduce是一种可用于数据处理的编程模型,Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的,因此,可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集,这里以一个气象数据集分析为例说明之,查.........【阅读全文】

阅读(5387) | 评论(1) | 转发(1)

发布时间:2014-02-03 20:24:35

一、文件读取剖析        为了了解客户端及与之交互的HDFS、namenode和datanode之间的数据流是什么样的,可以参考下图,该图显示了在读取文件时一些时间的主要顺序:图1 客户端读取HDFS中的数据        客户端通过调用FileSyste对象的open()方法来打开.........【阅读全文】

阅读(3585) | 评论(1) | 转发(2)
给主人留下些什么吧!~~

silence06072014-09-20 13:30

期待redis运维管理的心得=。=

回复  |  举报

scq2099yt2013-08-23 11:10

电影vs程序员:期待新文章

感谢鼓励

回复  |  举报

电影vs程序员2013-08-22 18:15

期待新文章

回复  |  举报

scq2099yt2013-08-15 10:01

vincent2010_:博主,目前从事运维工作,有没有QQ联系方式,

14046300

回复  |  举报

vincent2010_2013-08-14 18:18

博主,目前从事运维工作,有没有QQ联系方式,

回复  |  举报
留言热议
请登录后留言。

登录 注册