发布时间：2015-08-28 17:00:16

问题描述：<br /><br />前几天发现hadoophdfs磁盘空间经常满，导致任务失败，但是查看hadoop fs -du -h /&nbsp; 这个根目录的文件大小总计150T左右，但是在50070端口页面查看到的磁盘使用接近390T，怀疑是文件备份数出问题了。<br /><br />执行 hadoop dfs -ls [filename]&nbsp; 近期的文件都是3份，上个月的抽几个文件.........【阅读全文】

发布时间：2015-08-17 16:19:42

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示：
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时，会进入安全模式进行自检，自检完.........【阅读全文】

发布时间：2015-08-16 13:34:53

MapReduce重要配置参数
1.  资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Ta.........【阅读全文】

发布时间：2015-08-12 11:25:38

这是一个很容易出现的问题，网上很多内容将mysql驱动包上传到不对的路径导致出现问题。<br /><br />cloudera manager添加hive时报错找不到jdbc driver<br />报错<br />JDBC driver cannot be found. Unable to find the JDBC database jar on host<br /><br />把包放入这个目录，注意文件名要保持一致 网上又很多需要.........【阅读全文】

发布时间：2015-08-12 10:01:12

安装CDH5.4.0的时候，Validations界面中有以下提示内容，意思是需要在/etc/sysctl.conf中设置swappiness值为10，<br /><br />Cloudera recommends setting /proc/sys/vm/swappiness <span style="color:#E53333;">to at most 10. Current setting is 60</span>. Use the sysctl command to change this setting at runtim.........【阅读全文】

发布时间：2015-08-06 18:12:31

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。<br /><br />1. 网络带宽<br /><br />Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。<br /><br />但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问.........【阅读全文】

发布时间：2015-08-06 17:58:10

添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上，启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop.........【阅读全文】

发布时间：2015-07-15 16:08:39

现象：在访问Master:50070之后，点击browse the filesystem后，该页无法显示。<br /><br />原因：点击browse the filesystem后，网页转向的地址用的是hadoop集群的某一个datanode的主机名，由于客户端的浏览器无法解析这个主机名，因此该页无法显示。<br /><br />解决：需要在客户端的hosts文件里加入hadoop集群的ip地.........【阅读全文】

发布时间：2015-07-14 17:12:24

WordCount程序 在 hadoop1.2.1 测试成功。<br /><br /><br /><div><div class="codeheads"><p>点击(<span style="cursor:pointer;color:red;" onclick="code_hide('code705')">此处</span>)折叠或打开</p></div><div id="code705" class="codeText"><ol style="margin:0 1px 0 0px;padding-left:40px.........【阅读全文】

发布时间：2015-07-07 13:03:49

hadoop-mapreduce-examples-2.7.0.jar包<br />直接解压，看到下面内容：<br /><img src="/attachment/201507/7/25691489_1436245262vVnV.jpg" alt="" height="504" width="579" /><br />上面是编译的文件。我们该如何看到源码<br /><br />我们下载jad<br /><br /><a href="/blog/downLoad/fileid/11510.html" target.........【阅读全文】