Chinaunix首页 | 论坛 | 博客
  • 博客访问: 3521754
  • 博文数量: 1805
  • 博客积分: 135
  • 博客等级: 入伍新兵
  • 技术积分: 3345
  • 用 户 组: 普通用户
  • 注册时间: 2010-03-19 20:01
文章分类

全部博文(1805)

文章存档

2017年(19)

2016年(80)

2015年(341)

2014年(438)

2013年(349)

2012年(332)

2011年(248)

分类: 大数据

2013-10-27 09:37:34

原文地址:HIVE的基础知识 作者:jiongtoast

静下心来学习HIVE,做个笔记,能回答清楚下面的问题:
1、HIVE是什么?
2、HIVE的结构?
3、HIVE能干什么?
4、HIVE怎么干的?
5、HIVE干得怎么样?

1、HIVE是什么?
答:简单地说,Hive是基于Hadoop的数据仓库工具,可以将SQL转化为MapReduce任务,开发成本低,比较适合数据仓库的统计分析。

2、HIVE的结构?
答:可以将Hive分为服务器组件和客户端组件两部分:
服务器组件包括:(a)Drive:为类SQL语句(称为HQL)提供编译、调试、运行的功能,提交至MapReduce;
                       (b)Metastroe:元数据组件,提供元数据存储和服务,Hive支持Derby(默认)和My SQL数据库,元数据存储在Derby所在介质,metastore服务调用元数据;
                       (c)Thrift:facebook开发的一个软件框架,Hive集成了这个服务,以支持不同语言调用Hive接口。
客户端组件包括:(a)CLI:命令行;
                       (b)Web GUI:web端的图形界面;
                       (c):Thrift客户端。

3、HIVE能干什么?
答:Google提出MapReduce的背景是海量数据且结构化、非结构数据都有,其实质是批处理方式,进行数据统计分析时开发效率及计算效率十分低下。程序员们在DBMS体现下对SQL的使用已经到了无以复加的地步,因此,Hive提出HQL语言,以类sql这种更友好的方式来完成MapReduce任务,在处理非结构化数据时,能发现Hive优势明显。

4、HIVE怎么干的?
这里借用一张图,Hadoop是基础,HIVE在其之上,在客户端以HQL发起一个查询,Hive通过元数据返回执行计划,并将计划提交至计算引擎,计算引擎通过Map/Reduce来执行:

5、HIVE干得怎么样?
答:呃,初学不好断定,随学习深入再做回答。
阅读(400) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~