按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 142
xiaomabetter | 2016-09-09 18:42:37 | 阅读(0) | 评论(0)
??????? ????????elk+redis???????????????????????????????els+kafka+rsyslog+hadoop-hdfs+zookeeper?????????????? ?????????? A.rsyslogd???? ????? rsyslog?????? ??,??? rsyslog?? kafka??????? v8.7.0?汾???????????.??? ChangeLog ???????? V8.X??汾?仯. ????V8?????????【阅读全文】
呆若 | 2016-09-08 18:31:21 | 阅读(150) | 评论(0)
hadoop、MapReduce、YARN和Spark的区别与联系 转载:http://www.aichengxu.com/view/1103036 2015-03-17 16:37 本站整理 浏览(454) (1) hadoop 1.0 第一代hadoop,由分布式存储系统HDFS和分布式计算框架 MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个 T【阅读全文】
shilei1 | 2016-09-07 21:49:14 | 阅读(210) | 评论(0)
damofeixue64 | 2016-08-19 15:29:22 | 阅读(150) | 评论(0)
sanshugen | 2016-08-13 17:28:43 | 阅读(90) | 评论(0)
dlagul | 2016-07-21 16:28:09 | 阅读(150) | 评论(0)
wenhq | 2016-07-08 14:22:18 | 阅读(240) | 评论(0)
laoliulaoliu | 2016-07-02 21:26:33 | 阅读(240) | 评论(0)
原文地址:https://zhuanlan.zhihu.com/p/20953323 作者:馨宁 链接:https://zhuanlan.zhihu.com/p/20953323 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 介绍hadoop的文章已经很多了,个人感觉这一篇还是写得不错的: hadoop以前是,现在仍然是大数据批处理领域的王者。Hado【阅读全文】
海峡 | 2016-04-27 18:59:36 | 阅读(0) | 评论(0)
http://www.thebigdata.cn/hadoop/9572.html 注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。   1. ResourceManager相关配置参数   (1) yarn.resourcemanager.address   参数解释:ResourceManager 对客户端暴露的地址。客户端【阅读全文】
Larpenteur | 2016-04-27 03:40:54 | 阅读(0) | 评论(0)
【HADOOP】 hadoop+lucene
hiyachen | 2016-04-23 13:24:26 | 阅读(30) | 评论(0)
http://www.iteye.com/topic/1134660 hadoop是Lucene的子项目,现在发展如火如荼,如何利用hadoop的分布式处理能力,来给Lucene提高建索引的效率呢,如此一来,便能充分利用HDFS的所有优点,但众所周知,HDFS系统,对随机读支持的并不友好,而像Lucene这种全文检索的框架,几乎所有的检索操作,都离不开随机读写的操作,那么如何才能使Lucene【阅读全文】
【系统运维】 hadoop 常用命令
海峡 | 2016-04-22 14:01:04 | 阅读(0) | 评论(0)
hadoop dfs –ls就是查看/usr/root目录下的内容,默认如果不填路径这就是当前用户路径; hadoop dfs –rmr xxx就是删除目录,还有很多命令看看就很容易上手; hadoop dfsadmin –report这个命令可以全局的查看DataNode的情况; hadoop job后面增加参数是对于当前运行的Job的操作,例如list,kill等; 【阅读全文】
虹波2016 | 2016-04-19 10:13:51 | 阅读(4470) | 评论(0)
zghover | 2016-04-14 15:54:55 | 阅读(0) | 评论(0)
在linux系统上安装hadoop 说明: 我的系统是centos 5.4 1, 添加hadoop管理账号 hadoop-user useradd hadoop-user 2, 修改主机名 vi /etc/hosts 192.168.0.4 master 192.168.0.3 node1 192.168.0.5 node2 3, 开启ssh服务,并把ssh设置成无密码登录。 注意要使用用户hadoop【阅读全文】
海峡 | 2016-04-12 15:39:31 | 阅读(0) | 评论(0)
1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ? 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,可是随着代【阅读全文】
【架构设计与优化】 hadoop进程启动过程分析
海峡 | 2016-04-11 21:27:15 | 阅读(0) | 评论(0)
http://blog.csdn.net/zklth/article/details/11617479 http://weixiaolu.iteye.com/blog/1397519 使用start-dfs.sh启动hdfs进程的详细过程 涉及的脚本有: bin下: hadoop-config.sh start-dfs.sh hadoop-daemons.sh slaves.sh hadoop-daemon.sh hadoop conf下: hadoop-env.sh 其中 hadoop-config.sh 和 hadoop-e【阅读全文】
【大数据】 hadoop集群快速搭建
dusir120 | 2016-04-10 17:15:45 | 阅读(0) | 评论(0)
我们将部署一个五结点的hadoop集群,集群架构如下图: 1.其中nameNode主节点和DataNode从节点的分布情况如下: nameNode主节点 DataNode从节点 192.168.10.161 192.168.10.162 【阅读全文】
【服务器与存储】 hadoop2集群搭建过程
niao5929 | 2016-03-24 13:08:59 | 阅读(90) | 评论(0)
hadoop2集群搭建过程 [日期:2016-03-23] 来源:Linux社区 作者:zouqingyun [字体:大中小] 在这里我选用4台机器进行示范,各台机器的职责如下表格所示 (说明: 1. ZooKeepe使用其它节点的 2.hadoop0节点安装所有的master, h【阅读全文】
海峡 | 2016-03-22 16:25:23 | 阅读(0) | 评论(0)
注:本文的主要目的是为了转载前辈的学习过程,也方便与大家做交流。转载请注明来自: http://blog.csdn.net/ab198604/article/details/8250461 要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起【阅读全文】