10多年的信息工作，随时记录心得和资料，希望能结识更多的朋友
发布时间：2017-01-19 11:17:18
2016-05-18 数邦客大数据思维原理是什么？简单概括为10项原理，当样本数量足够大时，你会发现其实每个人都是一模一样的。一、数据核心原理从“流程”核心转变为“数据”核心大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结.........【阅读全文】
发布时间：2016-04-27 18:59:36
http://www.thebigdata.cn/Hadoop/9572.html注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。 1. ResourceManager相关配置参数 （1） yarn.resourcemanager.address 参数解释：ResourceManager 对客户.........【阅读全文】
发布时间：2016-04-22 14:01:04
Hadoop dfs –ls就是查看/usr/root目录下的内容，默认如果不填路径这就是当前用户路径；Hadoop dfs –rmr xxx就是删除目录，还有很多命令看看就很容易上手；Hadoop dfsadmin –report这个命令可以全局的查看DataNode的情况；Hadoop job后面增加参数是对于当前运行的Job的操作，例如list,kill等；.........【阅读全文】
发布时间：2016-04-12 15:39:31
1、什么是yarn？ 2、Yarn 和MapReduce相比，它有什么特殊作用 ？背景 Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，.........【阅读全文】
