Chinaunix首页 | 论坛 | 博客
  • 博客访问: 58577
  • 博文数量: 15
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 206
  • 用 户 组: 普通用户
  • 注册时间: 2013-10-23 13:47
文章分类

全部博文(15)

文章存档

2013年(15)

我的朋友

分类: HADOOP

2013-12-06 11:04:12

1、自己写MapReduce任务,虽然开发难度大一点,但运行效率比Pig和Hive高,像Google的PageRank排名,机器学习、推荐,全盘扫描的ETL都是这种方式的典型应用;

2、用Hive做分析,Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写,但某些运算效率不及M/R;

3、用Pig做数据分析,Pig是Yahoo的研发成果,yahoo也希望将其推广为大数据领域内的数据分析标准,但从目前看Pig的语法尚未普及,跟Hive的问题一样,在做某些运算时效率不及M/R;

4、基于Hbase开发的系统,基本上可以达到实时分析系统的效果,但目前没有开源实现,开发成本高。
阅读(1203) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~