Chinaunix首页 | 论坛 | 博客
  • 博客访问: 761603
  • 博文数量: 259
  • 博客积分: 10
  • 博客等级: 民兵
  • 技术积分: 2518
  • 用 户 组: 普通用户
  • 注册时间: 2012-10-13 16:12
个人简介

科技改变世界,技术改变人生。

文章分类

全部博文(259)

发布时间:2016-03-09 12:56:19

hive操作特别慢,报错,卡顿现象:查看所有库拨错hive> show databases;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.thrift.transport.TTransportException java.net.SocketException: Broken pipe)查看hiveserver2.l.........【阅读全文】

阅读(1717) | 评论(0) | 转发(0)

发布时间:2015-12-29 11:48:29

近期发现分析部门同事告知,hive处理原始数据的时候总是不能执行完成,报错如下,这个问题是avro的文件不完整:Diagnostic Messages for this Task:Error: java.io.IOException: java.io.IOException: org.apache.avro.AvroRuntimeException: java.io.IOException: Invalid sync!      &n.........【阅读全文】

阅读(1959) | 评论(0) | 转发(0)

发布时间:2015-10-12 18:02:50

hive-site.sh配置<br />设置hive列队<br /><br />zk的token存储连接串,默认是localhost:2181;<br />&lt;property&gt;<br />&nbsp;&nbsp; &lt;name&gt;hive.cluster.delegation.token.store.zookeeper.connectString&lt;/name&gt;<br />&nbsp;&nbsp;&nbsp; &lt;value&gt;ishare.89.bjlt:2181,rm01.103.bjlt:2181,rm0.........【阅读全文】

阅读(973) | 评论(0) | 转发(0)

发布时间:2015-10-12 17:39:44

<p style="margin-left:21.0pt;text-indent:-21.0pt;"><span>&nbsp;</span></p><p style="margin-left:21.0pt;text-indent:-21.0pt;"><span style="font-family:宋体;">一、升级原因:</span><span></span></p><p style="margin-left:21.0pt;text-indent:-21.0pt;"><span>Hive</span><span style="font-family:宋.........【阅读全文】

阅读(1443) | 评论(0) | 转发(0)

发布时间:2015-09-09 15:23:04

Mysql作为Hive metaStore的存储数据库。里面大约有20张库表。

其中主要涉及到的表如下:
表名                                说明   .........【阅读全文】

阅读(1422) | 评论(0) | 转发(0)

发布时间:2015-08-10 11:40:34

有些时候需要尝试优化Hive的Map和Reduce数量,来达到最佳运行状态,根据实际情况进行数量调整,可以更快速的得到结果。<br /><br />1、增加map数量<br />首先调整上一步reducer生成文件数据,下面可以把reduce设置为160,即生成160个文件<br /><br />set mapred.reduce.tasks=160;<br />create table test as<br />s.........【阅读全文】

阅读(1687) | 评论(0) | 转发(0)

发布时间:2015-07-20 13:00:28

之前用的是hive-0.90 ,想与hbase整合下,所以更换hive为0.13.1版本,因为偷懒将原来的conf配置文件拷贝,<br />结果出现如下错误,<span style="color:#E53333;"><strong>hive.metastore.local,<span style="color:#E53333;"><strong>hive.metastore.ds.retry.*</strong></span></strong><span style="color:#E53333;">.........【阅读全文】

阅读(1889) | 评论(0) | 转发(0)

发布时间:2015-07-17 16:24:15

<strong>字符集</strong><br />Hadoop和Hive都是用UTF-8编码的,所有中文必须是UTF-8编码, 才能正常使用<br />备注:中文数据load到表里面, 如果字符集不同,很有可能全是乱码需要做转码的, 但是hive本身没有函数来做这个<br />&nbsp;<br /><strong>压缩</strong><br />hive.exec.compress.output 这个参数, 默认是 fa.........【阅读全文】

阅读(1452) | 评论(0) | 转发(0)

发布时间:2015-07-17 16:23:59

<p>转载:http://blog.csdn.net/johnny_lee/article/details/8867632</p><div id="article_content" class="article_content"><p style="color:#362E2B;font-family:Arial;font-size:13.63636302947998px;line-height:26px;">最近使用hive一个多月下来(终于完成第一期数据分析迁移工作了),当时使用的0.8的版本(.........【阅读全文】

阅读(923) | 评论(0) | 转发(0)

发布时间:2015-07-17 16:23:42

<p>转载:http://blog.sina.com.cn/s/blog_9f48885501017cq8.html</p><p>使用过hive一段时间,发现楼主讲的非常正确。</p><p style="font-family:Tahoma;font-size:12px;line-height:18px;">基本原则:</p><p style="font-family:Tahoma;font-size:12px;line-height:18px;">1:尽量尽早地过滤数据,减少每个.........【阅读全文】

阅读(1228) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册