发布时间：2015-09-02 18:54:15

集群平衡介绍
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡.........【阅读全文】

发布时间：2015-09-02 14:31:43

今天查看一个nagios监控web页面，报错：找不到/nagios页面，
开始以为权限的问题，对比其他nagios监控Server，后来发现是缺少文件，
我将其他nagios监控主机的web相关的配置文件scp到这个主机上，之后就正常了，应该是这台搭建的时候没有配置web相关的内容，

scp文件如下：
/usr/lib/nagios.........【阅读全文】

发布时间：2015-09-01 00:17:31

Cobbler作为一个自动化系统工具，使部署RedHat/Centos/Fedora系统更容易，同时也支持Suse和Debian系统的部署。
它提供以下服务集成：

* PXE服务支持
* DHCP服务管理
* DNS服务管理
* Kickstart服务支持
* yum仓库管理

Cobbler客户端Koan支持虚拟机安装和操作系统.........【阅读全文】

发布时间：2015-08-31 17:54:14

将Web应用打包成WAR文件的方法<br /><br />(1)在命令行中运用Jar命令<br /><br />假定有一个Web应用：C:\myHome<br /><br />myHome/WEB-INF/……<br />myHome/files/……<br />myHome/image/……<br />myHome/src/……<br />myHome/index.jsp<br /><br />在命令行窗口下执行如下命令：<br />C:\&gt;cd myHome.........【阅读全文】

发布时间：2015-08-29 22:32:34

（一）备份namenode的元数据<br />namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。<br />1、将元数据复制到远程站点<br />（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器<br /><br />.........【阅读全文】

发布时间：2015-08-28 19:55:50

今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息：<br /><br />[root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations<br />SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br.........【阅读全文】

发布时间：2015-08-28 17:00:16

问题描述：<br /><br />前几天发现hadoophdfs磁盘空间经常满，导致任务失败，但是查看hadoop fs -du -h /&nbsp; 这个根目录的文件大小总计150T左右，但是在50070端口页面查看到的磁盘使用接近390T，怀疑是文件备份数出问题了。<br /><br />执行 hadoop dfs -ls [filename]&nbsp; 近期的文件都是3份，上个月的抽几个文件.........【阅读全文】

发布时间：2015-08-17 16:19:42

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示：
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时，会进入安全模式进行自检，自检完.........【阅读全文】

发布时间：2015-08-16 13:34:53

MapReduce重要配置参数
1.  资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Ta.........【阅读全文】

发布时间：2015-08-12 11:25:38

这是一个很容易出现的问题，网上很多内容将mysql驱动包上传到不对的路径导致出现问题。<br /><br />cloudera manager添加hive时报错找不到jdbc driver<br />报错<br />JDBC driver cannot be found. Unable to find the JDBC database jar on host<br /><br />把包放入这个目录，注意文件名要保持一致 网上又很多需要.........【阅读全文】