发布时间：2015-08-12 10:01:12

安装CDH5.4.0的时候，Validations界面中有以下提示内容，意思是需要在/etc/sysctl.conf中设置swappiness值为10，<br /><br />Cloudera recommends setting /proc/sys/vm/swappiness <span style="color:#E53333;">to at most 10. Current setting is 60</span>. Use the sysctl command to change this setting at runtim.........【阅读全文】

发布时间：2015-08-11 17:29:14

扩容当前分区

一、首先创建一块新的分区：
fdisk  /dev/hda
n
l        #选择逻辑分区，如果没有，则首先创建扩展分区，然后再添加逻辑分区（硬盘：最多四个分区P-P-P-P或P-P-P-E）
6        #分区号（.........【阅读全文】

发布时间：2015-08-10 11:40:34

有些时候需要尝试优化Hive的Map和Reduce数量，来达到最佳运行状态，根据实际情况进行数量调整，可以更快速的得到结果。<br /><br />1、增加map数量<br />首先调整上一步reducer生成文件数据，下面可以把reduce设置为160，即生成160个文件<br /><br />set mapred.reduce.tasks=160;<br />create table test as<br />s.........【阅读全文】

发布时间：2015-08-06 18:12:31

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。<br /><br />1. 网络带宽<br /><br />Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。<br /><br />但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问.........【阅读全文】

发布时间：2015-08-06 17:58:10

添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上，启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop.........【阅读全文】

发布时间：2015-07-20 13:37:18

运行hbase的命令出现如下提示，意思是hadoop和hbase都存在slf4j-log4j12***.jar包，只是版本不同，需要删除一个即可，原则删除低版本。<br />我删除了/usr/local/hadoop/lib/slf4j-log4j12-<span style="color:#E53333;">1.4.3.jar</span><br /><br />hbase(main):001:0&gt; list<br />TABLE&nbsp;&nbsp;&nbsp;&nbsp;&n.........【阅读全文】

发布时间：2015-07-20 13:00:28

之前用的是hive-0.90 ，想与hbase整合下，所以更换hive为0.13.1版本，因为偷懒将原来的conf配置文件拷贝，<br />结果出现如下错误，<span style="color:#E53333;"><strong>hive.metastore.local，<span style="color:#E53333;"><strong>hive.metastore.ds.retry.*</strong></span></strong><span style="color:#E53333;">.........【阅读全文】

发布时间：2015-07-17 16:24:15

<strong>字符集</strong><br />Hadoop和Hive都是用UTF-8编码的，所有中文必须是UTF-8编码, 才能正常使用<br />备注：中文数据load到表里面, 如果字符集不同，很有可能全是乱码需要做转码的, 但是hive本身没有函数来做这个<br />&nbsp;<br /><strong>压缩</strong><br />hive.exec.compress.output 这个参数, 默认是 fa.........【阅读全文】

发布时间：2015-07-17 16:23:59

<p>转载：http://blog.csdn.net/johnny_lee/article/details/8867632</p><div id="article_content" class="article_content"><p style="color:#362E2B;font-family:Arial;font-size:13.63636302947998px;line-height:26px;">最近使用hive一个多月下来(终于完成第一期数据分析迁移工作了)，当时使用的0.8的版本（.........【阅读全文】

发布时间：2015-07-17 16:23:42

<p>转载：http://blog.sina.com.cn/s/blog_9f48885501017cq8.html</p><p>使用过hive一段时间，发现楼主讲的非常正确。</p><p style="font-family:Tahoma;font-size:12px;line-height:18px;">基本原则：</p><p style="font-family:Tahoma;font-size:12px;line-height:18px;">1：尽量尽早地过滤数据，减少每个.........【阅读全文】