发布时间：2016-03-09 12:56:19

hive操作特别慢，报错，卡顿现象：查看所有库拨错hive> show databases;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.thrift.transport.TTransportException java.net.SocketException: Broken pipe)查看hiveserver2.l.........【阅读全文】

发布时间：2015-12-29 11:48:29

近期发现分析部门同事告知，hive处理原始数据的时候总是不能执行完成，报错如下，这个问题是avro的文件不完整：Diagnostic Messages for this Task:Error: java.io.IOException: java.io.IOException: org.apache.avro.AvroRuntimeException: java.io.IOException: Invalid sync!      &n.........【阅读全文】

发布时间：2015-10-12 18:02:50

hive-site.sh配置<br />设置hive列队<br /><br />zk的token存储连接串，默认是localhost:2181；<br />&lt;property&gt;<br />&nbsp;&nbsp; &lt;name&gt;hive.cluster.delegation.token.store.zookeeper.connectString&lt;/name&gt;<br />&nbsp;&nbsp;&nbsp; &lt;value&gt;ishare.89.bjlt:2181,rm01.103.bjlt:2181,rm0.........【阅读全文】

发布时间：2015-10-12 17:39:44

<p style="margin-left:21.0pt;text-indent:-21.0pt;"><span>&nbsp;</span></p><p style="margin-left:21.0pt;text-indent:-21.0pt;"><span style="font-family:宋体;">一、升级原因：</span><span></span></p><p style="margin-left:21.0pt;text-indent:-21.0pt;"><span>Hive</span><span style="font-family:宋.........【阅读全文】

发布时间：2015-09-09 15:23:04

Mysql作为Hive metaStore的存储数据库。里面大约有20张库表。

其中主要涉及到的表如下：
表名                                说明   .........【阅读全文】

发布时间：2015-08-10 11:40:34

有些时候需要尝试优化Hive的Map和Reduce数量，来达到最佳运行状态，根据实际情况进行数量调整，可以更快速的得到结果。<br /><br />1、增加map数量<br />首先调整上一步reducer生成文件数据，下面可以把reduce设置为160，即生成160个文件<br /><br />set mapred.reduce.tasks=160;<br />create table test as<br />s.........【阅读全文】

发布时间：2015-07-20 13:00:28

之前用的是hive-0.90 ，想与hbase整合下，所以更换hive为0.13.1版本，因为偷懒将原来的conf配置文件拷贝，<br />结果出现如下错误，<span style="color:#E53333;"><strong>hive.metastore.local，<span style="color:#E53333;"><strong>hive.metastore.ds.retry.*</strong></span></strong><span style="color:#E53333;">.........【阅读全文】

发布时间：2015-07-17 16:24:15

<strong>字符集</strong><br />Hadoop和Hive都是用UTF-8编码的，所有中文必须是UTF-8编码, 才能正常使用<br />备注：中文数据load到表里面, 如果字符集不同，很有可能全是乱码需要做转码的, 但是hive本身没有函数来做这个<br />&nbsp;<br /><strong>压缩</strong><br />hive.exec.compress.output 这个参数, 默认是 fa.........【阅读全文】

发布时间：2015-07-17 16:23:59

<p>转载：http://blog.csdn.net/johnny_lee/article/details/8867632</p><div id="article_content" class="article_content"><p style="color:#362E2B;font-family:Arial;font-size:13.63636302947998px;line-height:26px;">最近使用hive一个多月下来(终于完成第一期数据分析迁移工作了)，当时使用的0.8的版本（.........【阅读全文】

发布时间：2015-07-17 16:23:42

<p>转载：http://blog.sina.com.cn/s/blog_9f48885501017cq8.html</p><p>使用过hive一段时间，发现楼主讲的非常正确。</p><p style="font-family:Tahoma;font-size:12px;line-height:18px;">基本原则：</p><p style="font-family:Tahoma;font-size:12px;line-height:18px;">1：尽量尽早地过滤数据，减少每个.........【阅读全文】