按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 5
laoliulaoliu | 2016-07-02 21:26:33 | 阅读(240) | 评论(0)
原文地址:https://zhuanlan.zhihu.com/p/20953323 作者:馨宁 链接:https://zhuanlan.zhihu.com/p/20953323 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 介绍hadoop的文章已经很多了,个人感觉这一篇还是写得不错的: hadoop以前是,现在仍然是大数据批处理领域的王者。Hado【阅读全文】
海峡 | 2016-04-27 18:59:36 | 阅读(0) | 评论(0)
http://www.thebigdata.cn/hadoop/9572.html 注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。   1. ResourceManager相关配置参数   (1) yarn.resourcemanager.address   参数解释:ResourceManager 对客户端暴露的地址。客户端【阅读全文】
海峡 | 2016-04-12 15:39:31 | 阅读(0) | 评论(0)
1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ? 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,可是随着代【阅读全文】
【架构设计与优化】 hadoop进程启动过程分析
海峡 | 2016-04-11 21:27:15 | 阅读(0) | 评论(0)
http://blog.csdn.net/zklth/article/details/11617479 http://weixiaolu.iteye.com/blog/1397519 使用start-dfs.sh启动hdfs进程的详细过程 涉及的脚本有: bin下: hadoop-config.sh start-dfs.sh hadoop-daemons.sh slaves.sh hadoop-daemon.sh hadoop conf下: hadoop-env.sh 其中 hadoop-config.sh 和 hadoop-e【阅读全文】
【架构设计与优化】 分布式文件系统DFS之hadoop介绍
镇水铁牛 | 2015-06-20 08:31:24 | 阅读(120) | 评论(0)
现在分布式有很多开源软件,实现总体思想类似,只存在部分差异,目的为处理大数据,所谓的大数据一般包含两个属性:海量数据量,可被key/value的关系型数据。 分布式系统一般都具有的优点:HA、scale out、fault tolerance。有的DFS系统,如hadoop的HDFS,数据提供多副本备份。但是这样会占用大量的空间,可以通过一定机制,当热数据【阅读全文】