按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2194
【大数据】 hadoop集群快速搭建
dusir120 | 2016-04-10 17:15:45 | 阅读(670) | 评论(0)
我们将部署一个两节点的hadoop集群,集群架构如下图: 2016-04-10 05.png【阅读全文】
OowarrioroO | 2016-04-01 21:28:43 | 阅读(470) | 评论(0)
hadoop namenode -formate后,上传文件报错 0 datanode(s) running and no node(s) are excluded
1.报错内容:
?put: File /user/username/testData/matrixdata.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
2.错误分析与解决
?打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看【阅读全文】
【服务器与存储】 Hadoop2集群搭建过程
niao5929 | 2016-03-24 13:08:59 | 阅读(1110) | 评论(0)
Hadoop2集群搭建过程[日期:2016-03-23]来源:Linux社区  作者:zouqingyun[字体:大 中 小]在这里我选用4台机器进行示范,各台机器的职责如下表格所示(说明:  1. ZooKeepe使用其它节点的 2. Hadoop0节点...【阅读全文】
海峡 | 2016-03-22 16:25:23 | 阅读(560) | 评论(0)
hadoop master second【阅读全文】
zzjlzx | 2016-03-21 10:38:53 | 阅读(1020) | 评论(0)
Hadoop虚拟化扩展(HVE)之资源扩展技术作者:vBigData  发布日期:2013-11-07 10:22:29背景在虚拟化的云环境中,Hadoop可以有更好的“弹性”,这是云计算的一个重要优势,例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个H...【阅读全文】
zzjlzx | 2016-03-21 10:35:48 | 阅读(920) | 评论(0)
正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者:weir2010  发布日期:2014-06-09 18:03:05环境虚拟机centos6.5主机名h3  IP 192.168.137.11  作为DNS FNS的服务器主机名h4  IP 192.168.137.12主机名h3  I...【阅读全文】
levy-linux | 2016-03-17 17:42:57 | 阅读(870) | 评论(0)
hadoop之steaming介绍hadoop有个工具叫做steaming,能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言,其运行原理可以通过和标准java的map-reduce程序对比来说明:使用原生java语言实现Map-reduce程序    hadoop准备好数据后,将数据传送给java的map程序 &nbs...【阅读全文】
【系统运维】 Redhat 下hadoop简单搭建
foreverxp0 | 2016-03-16 21:51:14 | 阅读(1200) | 评论(0)
一   hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。        Hadoop实现了一个分布式文件系统(Hadoop Distributed File System...【阅读全文】
jelon521 | 2016-03-15 15:58:04 | 阅读(910) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
niao5929 | 2016-03-10 08:06:32 | 阅读(970) | 评论(0)
Hadoop2.2.0上Spark伪分布式安装[日期:2016-03-09]来源:Linux社区  作者:yeruby[字体:大 中 小]Hadoop2.2.0上Spark伪分布式安装过程笔记。1. 从官网上下下载合适的版本:http://spark.apache.org/downloads.html...【阅读全文】
niao5929 | 2016-03-10 08:05:36 | 阅读(940) | 评论(0)
CentOS 6.4+Hadoop2.2.0 Spark伪分布式安装[日期:2016-03-09]来源:Linux社区  作者:sunflower_cao[字体:大 中 小]Hadoop版本是2.2.0的稳定版本 下载地址spark版本:spark-0.9.1-bin-hadoop2  下载地址http://spark.apache....【阅读全文】
【大数据】 Hadoop伪分布式
zhaoritian | 2016-03-04 17:33:08 | 阅读(0) | 评论(0)
参见:http://www.powerxing.com/install-hadoop/1.格式化 ./bin/hdfs namenode -format2.开启 NameNode 和 DataNode 守护进程  ./sbin/start-dfs.sh3.  jps   显示java进程4.停止 ./sbin/stop-dfs.sh5.成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode...【阅读全文】
speckle | 2016-03-01 08:23:49 | 阅读(840) | 评论(0)
Hadoop NameNode HA【阅读全文】
hackeruncle | 2016-02-25 16:37:00 | 阅读(840) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
suiming2005 | 2016-02-24 09:03:07 | 阅读(540) | 评论(0)
hadoop、spark比较【阅读全文】
levy-linux | 2016-02-18 09:34:02 | 阅读(2130) | 评论(0)
想看看执行的hive job提交了什么语句,有没有方法从hadoop job监控页面查看?方法如下,这里看到简单的一段SQL,几乎看不出具体在执行什么任务。1、点开一个application,点击Tracking URL: ApplicationMaster 或者 History(历史任务显示History),进入到MapReduce Job job_1409xxxx,Job页面2、点击左侧的Config...【阅读全文】
神域风云再起 | 2016-02-11 16:26:22 | 阅读(260) | 评论(0)
在使用hadoop namenode -format进行namenode的格式化时候,出现错误Format aborted in path出现错误的原因是:在对namenode格式化之前,要确保dfs.name.dir参数指定的目录不存在(hdfs-site.xml文件)。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法:关闭hadoop服务将上面参数指定的文件夹删除,...【阅读全文】
Aquester | 2016-02-02 15:33:21 | 阅读(1220) | 评论(1)
假设:1) java安装目录为/data/jdk2) 监控脚本process_monitor监控脚本process_monitor.sh安装目录为/usr/local/bin3) hadoop安装目录为/data/hadoop4) hbase安装目录为/data/hbase5) zookeeper安装目录为/data/zookeeper可以通过jps查看到进程ID,然后使用kill命令杀死进程,查看监控重拉起效果。process_monitor...【阅读全文】
马哥linux运维 | 2016-01-21 23:32:16 | 阅读(0) | 评论(0)
1、Hadoop的配置文件 hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息,比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等; core-site.xml: 用于定义系统级别的参数,如HDFS URL、Hadoop的临时目录以及用于rack-aware...【阅读全文】
马哥linux运维 | 2016-01-21 23:31:09 | 阅读(0) | 评论(0)
1、Hadoop依赖软件Hadoop基于Java语言开发,因此其运行严重依赖于JDK(Java Development Kit),并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK,如Sun JDK、OpenJDK、Oracle JRockit、IBM JDK各自实现的某些版本。但迄今为止,HotSpot JVM仍是性能最好且与Hadoop搭...【阅读全文】