发布时间：2015-09-16 19:04:08

今天hadoop群集出现crontab job不执行的情况，手动运行job，报错如下：<br />org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot <br /><br />delete /user/hdfs/.staging/job_1441592436807_1892.<span style="back.........【阅读全文】

发布时间：2015-09-15 10:47:51

今天hadoop群集get文件的时候出现报错，如下：<br />$hdfs dfs -get /test/part-r-00000.gz ./<br /><br />15/09/15 09:20:33 INFO hdfs.DFSClient: Access token was invalid when connecting to /192.168.2.42:50010 : org.apache.hadoop.hdfs.security.token.block.InvalidBlockTokenException: Got access token err.........【阅读全文】

发布时间：2015-09-10 17:14:16

最近处理一台，很久没有启动datanode服务的节点，启动后发现日志中一直有如下信息不断个产生，


2015-09-10 14:22:28,474 INFO  datanode.DataNode (DataXceiver.java:writeBlock(598)) - Receiving BP-219392391-192.168.20.101-
1404293177278:blk_1121179008_48430870 src: /192.168.20.1.........【阅读全文】

发布时间：2015-09-10 14:46:21

在运行中的ambari hadoop集中中动态添加或删除节点<br /><br /><strong>1. 下线节点</strong><br />1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下：<br />server7<br />server8<br /><br />resourcemanager节点上yarn.exclude文件里.........【阅读全文】

发布时间：2015-09-10 14:31:29

问题描述：<br />一台nodemanager节点，出现无法正常启动情况，jps查看，发现nodemanager可以出现一会，过几秒就消失了，<br />查看日志发现如下信息：<br />2015-09-10 14:03:53,295 <span style="color:#E53333;">ERROR nodemanager.NodeStatusUpdaterImpl (NodeStatusUpdaterImpl.java:serviceStart(195)) - Unexpect.........【阅读全文】

发布时间：2015-09-06 14:04:14

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。<br /><br />为了方便介绍，先来看几个名词：<br />block_size : hdfs的文件块.........【阅读全文】

发布时间：2015-09-06 14:01:08

hadoop集群中主要进程<br />master:&nbsp;&nbsp; NameNode, ResourceManager,<br />slaves:&nbsp;&nbsp; DataNode, NodeManager,&nbsp; RunJar, MRAppMaster,YarnChild<br /><br />其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是：<br />RunJar：完成job的初始.........【阅读全文】

发布时间：2015-09-02 18:54:15

集群平衡介绍
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡.........【阅读全文】

发布时间：2015-08-29 22:32:34

（一）备份namenode的元数据<br />namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。<br />1、将元数据复制到远程站点<br />（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器<br /><br />.........【阅读全文】

发布时间：2015-08-28 19:55:50

今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息：<br /><br />[root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations<br />SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br.........【阅读全文】