按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 128
典雅的土地雷 | 2015-06-22 01:38:31 | 阅读(0) | 评论(0)
镇水铁牛 | 2015-06-20 09:24:22 | 阅读(60) | 评论(0)
hadoop的节点主要分NameNode和DataNode,我们把NameNode也叫做master node,DataNode叫做slave node。同时把用户的应用程序当作client。 master node负责hadoop中HDFS和Map Reduce功能管理,master node有Job Tracker服务,当Job Tracker使用Map Reduce进行调度并行处理逻辑时,master node中的元数据管理模块NameNode就负责HDFS的监控和【阅读全文】
【架构设计与优化】 分布式文件系统DFS之hadoop介绍
镇水铁牛 | 2015-06-20 08:31:24 | 阅读(120) | 评论(0)
现在分布式有很多开源软件,实现总体思想类似,只存在部分差异,目的为处理大数据,所谓的大数据一般包含两个属性:海量数据量,可被key/value的关系型数据。 分布式系统一般都具有的优点:HA、scale out、fault tolerance。有的DFS系统,如hadoop的HDFS,数据提供多副本备份。但是这样会占用大量的空间,可以通过一定机制,当热数据【阅读全文】
lion_sybiq_127 | 2015-06-19 17:40:13 | 阅读(780) | 评论(0)
在执行hadoopfs-copyToLocal命令时,本地文件系统中的文件不能存在,不能进行覆写。在某些情况下,比如:使用命名管道时,由于本地管道文件不能存在,这使得应用通过命名管道与HDFS集成时造成问题。 在这篇博文中,将介绍使用hadooplibdfs(CAPI)编写的一个解决这个问题的示例程序。这个示例程序只是起到抛砖引玉的作业,在实际使用时【阅读全文】
lion_sybiq_127 | 2015-06-19 10:48:46 | 阅读(540) | 评论(0)
本文将向大家介绍hadoop2.6.0“伪分布式”集群的安装和配置方法。在后面的一系列有关大数据技术以及IQ同大数据技术集成的文章中都将使用“伪分布式”模式下的hadoop集群作为示例环境。 本文中用于说明hadoop2.6.0安装和配置内容所使用的环境如下: *VMware虚拟机1个:2CPU、4GB内存、操作系统CentOS6.664bit,运行”伪分布式【阅读全文】
niao5929 | 2015-06-19 09:00:37 | 阅读(90) | 评论(0)
CentOS配置hadoop环境变量 [日期:2015-06-15] 来源:Linux社区 作者:fantasydreams [字体:大中小] CentOS7 &&hadoop-2.7.0.tar.gz hadoop基于java环境,所以需要配置jdk。 1、配置jdk:http://www.linuxidc.com/Linux/2015-0【阅读全文】
【大数据】 hadoop管理实战培训
sittc2 | 2015-06-09 14:34:18 | 阅读(60) | 评论(0)
随着云计算和大数据的发展,hadoop作为海量数据分析的最佳解决方案,在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台,使企业从所有不同类型的数据里挖掘商业价值成为现实。hadoop受到许多 IT厂商的关注,从而出现了许多hadoop的商业版以及支持hadoop的产品,形成一个强大的生态【阅读全文】
莜笨淳 | 2015-05-29 15:09:16 | 阅读(0) | 评论(0)
北风首套hadoop大数据包跳槽就业课程 课程链接:http://www.ibeifeng.com/goods-531.html 课程讲师:Cloudy 课程分类:大数据 适合人群:中级 课时数量:120课时 更新程度:完毕 服务类型:A类(就业服务类课程) 用到技术:hadoop MapReduce HDFS HBASE 部署hadoop集群 涉及项目:日志分析,电商 北风首次推出包跳槽大数据高【阅读全文】
Hadoop2015 | 2015-05-25 11:50:16 | 阅读(30) | 评论(0)
亲爱的cubloger:欢迎您在ChinaUnix博客安家,您的博客地址是:http://blog.chinaunix.net/uid/30259778.html我们是一个IT技术的技术家园,每一个IT技术人员都能在这里找到与您志同道合的知音。您可以用文字、图片记录分享您的IT技术、职场经验和个人成长经历等,随时随地发表博文和上传图片分享您的技术成果,还可以在ITPUB博客平台上与网友交【阅读全文】
levy-linux | 2015-05-22 14:07:15 | 阅读(480) | 评论(0)
最近帮助一个朋友进行问题排查,安装hbase的时,启动后Hmaster自动消失,他的环境:hadoop2.6+zookeeper3.4.6+hbase1.0.1 hadoop HA状态, 报错如下: 第一种: 2015-05-21 15:44:59,962 FATAL [Master1:16020.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown. org.apache.hadoop.hbase.CoordinatedState【阅读全文】
niao5929 | 2015-05-19 11:28:13 | 阅读(90) | 评论(0)
hadoop集群中添加datanode节点 [日期:2015-05-19] 来源:Linux社区 作者:ljy2013 [字体:大中小] 随着业务的扩展,公司刚开始的三个节点已经不够用了,因此需要添加datanode。下面记录一下添加datanode节点的步骤: 1、在新的datanode上【阅读全文】
niao5929 | 2015-05-19 09:38:23 | 阅读(90) | 评论(0)
hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决 [日期:2015-05-19] 来源:Linux社区 作者:ljy2013 [字体:大中小] 我们知道hadoop1.x之前的namenode存在两个主要的问题:1、namenode内存瓶颈的问题,2、namenode的单【阅读全文】
niao5929 | 2015-05-19 09:36:12 | 阅读(90) | 评论(0)
hadoop2.x解决Namenode 单点故障问题 [日期:2015-05-19] 来源:Linux社区 作者:Linux [字体:大中小] hadoop解决单点故障问题主要是通过两种方式: 1、NFS文件共享 2、QJM 方式 CLOUDERA提出的 在hadoop2.x中有两个n【阅读全文】
levy-linux | 2015-05-18 16:36:29 | 阅读(390) | 评论(0)
今天测试HDFS群集active和standby切换,过程中出现了两个standby模式,运行hadoop命令出现如下报错, 15/05/18 16:31:12 INFO retry.RetryInvocationHandler: Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over Master1/192.168.19.194:9000 after 13 fail over attempts. Trying to fail over after 【阅读全文】
超人学院1 | 2015-05-12 17:18:46 | 阅读(120) | 评论(0)
万事俱备,我们可以来分析NameNode 上的流程啦。 首先我们来看NameNode 上实现的ClientProtocol,客户端通过这个接口,可以对目录树进行操作,打开/关闭文件等。 getBlockLocations 用于确定文件内容的位置,它的输入参数为:文件名,偏移量,长度,返回值是一个LocatedBlocks 对象 (如下图),它携带的信息很多,【阅读全文】
超人学院1 | 2015-05-12 17:16:43 | 阅读(90) | 评论(0)
levy-linux | 2015-05-12 11:08:15 | 阅读(180) | 评论(0)
hadoop在安装的时候,需要知道hadoop版本是32位还是64位。 hadoop官网原来提供的都是32位,因为我们大部分服务器都是64位,所以不得不重新编译。后来官网从hadoop2.5版本开始就提供了64位。 我们来从官网下载的hadoop2.4.1安装包. hadoop是32位还是64位,我们查看本地库即可。即进入$hadoop_home/lib/native,使用file命令 ########【阅读全文】
超人学院1 | 2015-05-11 17:35:17 | 阅读(60) | 评论(0)
周围的障碍扫清以后,我们可以开始分析类DataNode。类图如下: publipublic class DataNode extends Configured implements InterDatanodeProtocol, ClientDatanodeProtocol, FSConsta nts, Runnable 上面给出了DataNode 的继承关系,我们发现,DataNode 实现了两个通信接口,其中ClientDatanodeProtocol 是用于和Cl【阅读全文】
niao5929 | 2015-05-09 22:36:12 | 阅读(90) | 评论(0)
hadoop2.6集群环境搭建(伪分布式) [日期:2015-05-09] 来源:Linux社區 作者:myresearch [字体:大中小] 以前安装过hadoop几个版本的单机版,主要是为了研究hadoop源代码,现在想更加深入hadoop整个生态系统,选择安装hadoop完全分布式,由于目【阅读全文】
超人学院1 | 2015-05-08 14:50:29 | 阅读(150) | 评论(0)
既然是RPC,自然就有客户端和服务器,当然,org.apache.hadoop.rpc 也就有了类Client 和类Server。在这里我们来仔细考 察org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client 中的关键类和关键方法。 由于Client 可能和多个Server 通信,典型的一次HDFS 读,需要和NameNode 打交道,也需要和某个/某些DataNode 通信。【阅读全文】