啄木鸟专吃虫,故名啄木鸟。
全部博文(67)
发布时间:2014-09-26 14:35:04
深入理解Hadoop集群和网络本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD:2014WOT全球软件技术峰会北京站 课程视频发布 云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad He.........【阅读全文】
发布时间:2014-08-11 11:02:14
1、最近在做hadoop的性能测试,采用了自带的Terasort的方式,但是在运行的过程中发现如果数据量过大,对硬盘I/O需求不小(通过Ganglia监控发现),因此,打算找找看是否有合适的配置来解决这样一类的问题,所以才有了这篇记录的文档。2、在做修改之前,当然必须确认slave的多块硬盘没有做任何形式的raid。二.........【阅读全文】
发布时间:2014-07-28 19:24:04
多次格式化后,datanode启动不了1、查看名称节点上(即在配置文件中配置的hadoop.tmp.dir参数路径)/usr/hadoop0.20.2/hadoop-huanghz/dfs/name/current/文件夹中VERSION文件中的namespaceid;[root@dubai2 current]# cat VERSION #Mon Jul 28 19:10:39 CST 2014namespaceID=1346791803cTime=0storageType=NAME_NODEl.........【阅读全文】
发布时间:2014-07-18 18:08:42
说起这个环境,真是一把鼻涕一把泪,整整一周的时间就这么过去了,庆幸的是这个环境能用了。总共7台机器:CentOS 6.3namenode :dubai2 172.16.199.53datanode :dubai3\dubai5\dubai6\dubai8\oslo8\oslo13各软件版本:Hadoop 1.2.1;HBase 0.94.19;zookeeper-3.4.5;java version "1.6..........【阅读全文】