10多年的信息工作,随时记录心得和资料,希望能结识更多的朋友
发布时间:2017-01-19 11:17:18
2016-05-18 数邦客大数据思维原理是什么?简单概括为10项原理,当样本数量足够大时,你会发现其实每个人都是一模一样的。一、数据核心原理从“流程”核心转变为“数据”核心大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结.........【阅读全文】
发布时间:2016-04-27 18:59:36
http://www.thebigdata.cn/Hadoop/9572.html注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。 1. ResourceManager相关配置参数 (1) yarn.resourcemanager.address 参数解释:ResourceManager 对客户.........【阅读全文】
发布时间:2016-04-22 14:01:04
Hadoop dfs –ls就是查看/usr/root目录下的内容,默认如果不填路径这就是当前用户路径;Hadoop dfs –rmr xxx就是删除目录,还有很多命令看看就很容易上手;Hadoop dfsadmin –report这个命令可以全局的查看DataNode的情况;Hadoop job后面增加参数是对于当前运行的Job的操作,例如list,kill等;.........【阅读全文】
发布时间:2016-04-12 15:39:31
1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ?背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,.........【阅读全文】