按类别查询搜索结果
关于关键词 的检测结果,共 31
laoliulaoliu | 2016-07-02 21:26:33 | 阅读(1100) | 评论(0)
原文地址:https://zhuanlan.zhihu.com/p/20953323作者:馨宁链接:https://zhuanlan.zhihu.com/p/20953323来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。介绍Hadoop的文章已经很多了,个人感觉这一篇还是写得不错的:Hadoop以前是,现在仍然是大数据批处理领域的王...【阅读全文】
海峡 | 2016-04-27 18:59:36 | 阅读(1470) | 评论(0)
http://www.thebigdata.cn/Hadoop/9572.html注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。  1.    ResourceManager相关配置参数   (1) yarn.resourcemanager.address   参数解释:ResourceManager 对客户...【阅读全文】
海峡 | 2016-04-12 15:39:31 | 阅读(1610) | 评论(0)
1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ?背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,...【阅读全文】
【架构设计与优化】 Hadoop进程启动过程分析
海峡 | 2016-04-11 21:27:15 | 阅读(1420) | 评论(0)
hadoop 启动过程【阅读全文】
【架构设计与优化】 分布式文件系统DFS之Hadoop介绍
镇水铁牛 | 2015-06-20 08:31:24 | 阅读(920) | 评论(0)
        现在分布式有很多开源软件,实现总体思想类似,只存在部分差异,目的为处理大数据,所谓的大数据一般包含两个属性:海量数据量,可被key/value的关系型数据。         分布式系统一般都具有的优点:HA、scale out、fault tolerance。有的DFS系统,如hadoop的HDFS,数据提...【阅读全文】
hiyachen | 2014-09-13 13:56:15 | 阅读(0) | 评论(0)
从Hadoop框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)【阅读全文】
【架构设计与优化】 hadoop 1.0跟hadoop2.0对比
Larpenteur | 2014-03-31 09:08:20 | 阅读(1030) | 评论(0)
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。MapReduce 程序的流程及设计思路:    首 先用户程序 (JobC...【阅读全文】
【架构设计与优化】 hadoop 1.0跟hadoop2.0对比
niao5929 | 2014-03-18 21:55:23 | 阅读(670) | 评论(0)
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。MapReduce 程序的流程及设计思路:    首 先用户程序 (JobC...【阅读全文】
【架构设计与优化】 hadoop 1.0跟hadoop2.0对比
xupengtao7 | 2014-03-17 15:47:30 | 阅读(4400) | 评论(2)
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。MapReduce 程序的流程及设计思路:    首 先用户程序 (JobC...【阅读全文】
【架构设计与优化】 Hadoop伪分布式集群
niao5929 | 2013-12-30 22:03:08 | 阅读(1000) | 评论(0)
Hadoop伪分布式集群【阅读全文】
【架构设计与优化】 Hadoop伪分布式集群
蓝天上的青鸟 | 2013-12-28 23:55:06 | 阅读(1920) | 评论(1)
Hadoop伪分布式集群【阅读全文】
【架构设计与优化】 Hadoop集群与Hadoop性能优化
1234567lq | 2013-12-23 20:54:44 | 阅读(2210) | 评论(0)
Hadoop集群与Hadoop性能优化【阅读全文】
zzjlzx | 2013-11-26 17:25:50 | 阅读(1030) | 评论(0)
 hadoop学习笔记(8)-hosts文件配置的问题分类: Web/数据/云计算 2013-01-26 10:36 465人阅读 评论(0) 收藏 举报环境:Centos6.3 x64jdk-1.6.0 u38 x64hadoop-1.0.4搭建集群时遇到一个问题:在namenode和jobtracket节点的日志中总是在报以下的错误:java.io.IOException: could only be replicated to 0 node...【阅读全文】
【架构设计与优化】 Hadoop伪分布式和完全分布式配置
zzjlzx | 2013-11-26 16:48:58 | 阅读(1240) | 评论(0)
Hadoop伪分布式和完全分布式配置[日期:2013-05-20]来源:Linux社区  作者:linuxgfc[字体:大 中 小] Hadoop的三种模式:本地模式:本地模拟实现,不使用分布式文件系统伪分布式模式:5个进程在一台主机上启动,一般开发人员调试hadoop程序使用完全分布式模式:至少3个结点,JobTracker和Nam...【阅读全文】
【架构设计与优化】 快速搭建 Hadoop 环境
zzjlzx | 2013-11-26 11:21:16 | 阅读(950) | 评论(0)
快速搭建 Hadoop 环境2012-02-09 12:58:07标签:原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://dngood.blog.51cto.com/446195/775368对于Hadoop来说,最主要的是两个方面,一个是分布式文件系统HDFS,另一个是M...【阅读全文】
【架构设计与优化】 Ubuntu 12.04安装Hadoop
zzjlzx | 2013-11-25 16:16:44 | 阅读(1140) | 评论(0)
相关阅读:在Ubuntu 12.10 上安装部署Openstack http://www.linuxidc.com/Linux/2013-08/88184.htmUbuntu 12.04 OpenStack Swift单节点部署手册 http://www.linuxidc.com/Linux/2013-08/88182.htm在Ubuntu上安装OpenStack的Swift组件-installing openstack object storage http:/...【阅读全文】
zzjlzx | 2013-11-25 16:00:30 | 阅读(760) | 评论(0)
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置分类: Ubunt Java技术 云计算 Hadoop系列2013-09-25 17:09 604人阅读 评论(0) 收藏 举报一、引言Hadop是一种分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序...【阅读全文】
zzjlzx | 2013-11-25 15:30:52 | 阅读(3610) | 评论(0)
Hadoop使用常见问题以及解决方法Hadoop, 问题, 解决1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序...【阅读全文】
zzjlzx | 2013-11-25 15:22:54 | 阅读(1070) | 评论(0)
一、       环境说明:虚拟机VMware中安装Ubuntu12.04,Hadoop版本0.20.2,Java版本jdk1.7.0_21/etc/hosts中配置:127.0.0.1 localhostHadoop安装路径:/usr/lib/hadoop-0.20.2/Java安装路径:/usr/lib/jvm/jdk1.7.0_21/用户需按照自己的...【阅读全文】
zzjlzx | 2013-11-25 15:15:52 | 阅读(890) | 评论(0)
hadoop格式化失败原因 Format aborted in /data0/hadoop-name(2012-02-20 14:11:28) 转载▼[user6@das0 hadoop-0.20.203.0]$ bin/hadoop namenode -format12/02/20 14:05:17 INFO namenode.NameNode: STARTUP_MSG: Re-format filesystem in /data0/hado...【阅读全文】