发布时间：2015-12-12 18:29:44

Hadoop运行mapreduce实例时,抛出错误ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)at org.apach.........【阅读全文】

发布时间：2015-12-10 11:52:00

1、问题前几天因为一个hive SQL的问题，导致其中很多节点机器的磁盘空间不足，job执行结束后，临时文件删除解决了空间不足的问题；查看http://hostname:8088/cluster/nodes发现出现了一个unhealty节点，错误信息如下1/4 local-dirs turned bad: /data1/hadoop/yarn/local;1/4 log-dirs turned bad: /data1/hadoop/yarn/.........【阅读全文】

发布时间：2015-11-27 10:33:44

history log无法查看问题通过历史log服务器查看log信息，无法打卡log：所有服务都正常启动，配置文件也正常。查看历史服务器的log发现如下报错：2015-11-24 16:11:12,172 ERROR webapp.View (AggregatedLogsBlock.java:render(106)) - Error getting logs for attempt_1447751602196_8305_m_000000_0org.apache.hado.........【阅读全文】

发布时间：2015-11-25 14:52:17

This section describes how to manually calculate YARN and MapReduce memory allocation settings based on the node hardware specifications.YARN takes into account all of the available resources on each machine in the cluster. Based on the available resources, YARN negotiates resource requests.........【阅读全文】

发布时间：2015-11-25 11:14:59

Hadoop 1.x中fsimage和edits合并实现用过Hadoop的用户应该都知道在Hadoop里面有个SecondaryNamenode进程，从名字看来大家很容易将它当作NameNode的热备进程。其实真实的情况不是这样的。SecondaryNamenode是HDFS架构中的一个组成部分，它是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间而设.........【阅读全文】

发布时间：2015-11-04 18:22:26

近期业务需求使用ambari安装了新的hadoop群集，大概30台服务器，安装比较顺利，但是群集安装后，job运行的很慢，但可以完成，反复查找问题，hadoop参数调整优化，代码开发检查，反复的测试，群集的本地读写能力，就是慢，经过几天的奋战，终于找到问题的原因，竟然是有各别的datanode节点网络有问题，scp数据的时候每秒.........【阅读全文】

发布时间：2015-10-27 21:53:55

Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3.  如何变更备份系数?  首先stop-.........【阅读全文】

发布时间：2015-10-15 19:33:23

最近测试了下hadoop读写数据的情况，将结果分享给大家，

datanode
mem：128G
cup：2cpu 26** 4核 共8核

namenode
mem：192G
cup：2cpu 26** 4核 共8核


datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl.........【阅读全文】

发布时间：2015-10-15 14:17:18

2015-10-15 14:12:41,319 INFO&nbsp; datanode.DataNode (DataXceiverServer.java:&lt;init&gt;(75)) - Balancing bandwith is 6250000 bytes/s<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:969)<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbs.........【阅读全文】

发布时间：2015-10-11 15:26:29

今天一台服务器 datanode服务自动停止了，查看datanode  log发现如下报错：

org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 1, volumes configured: 2, volumes failed: 1, volume failures tolerated: 0

意思是volumes出现故.........【阅读全文】