Chinaunix首页 | 论坛 | 博客
  • 博客访问: 58576
  • 博文数量: 15
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 206
  • 用 户 组: 普通用户
  • 注册时间: 2013-10-23 13:47
文章分类

全部博文(15)

文章存档

2013年(15)

我的朋友

发布时间:2013-12-17 14:01:26

MongoDB 本身可以做一些简单的统计工作,包括其内置的基于 Javascript 的 MapReduce 框架,也包括在MongoDB 2.2版本中引入的新的统计框架。除此之外,MongoDB 还提供了对外部统计工具的接口,这就是本文要说的MongoDB-Hadoop的数据中间件。MongoDB与Hadoop相结合的方式如下图所未,MongoDB作为数据源存储以及数据.........【阅读全文】

阅读(1399) | 评论(0) | 转发(0)

发布时间:2013-12-11 11:15:56

Impala的设计目标、系统构成、优缺点的简单介绍。......【阅读全文】

阅读(2806) | 评论(0) | 转发(0)

发布时间:2013-12-06 11:04:12

1、自己写MapReduce任务,虽然开发难度大一点,但运行效率比Pig和Hive高,像Google的PageRank排名,机器学习、推荐,全盘扫描的ETL都是这种方式的典型应用;2、用Hive做分析,Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写,但某些运算效率不及M/R;3、用Pig做数据分析,Pig是Yahoo的研发成果,yahoo也希望.........【阅读全文】

阅读(1202) | 评论(0) | 转发(0)

发布时间:2013-12-05 11:09:28

企业的大数据项目之所以会失败,主要是因为:1、缺乏一致性。IT部门和业务部门所处的角度不同,业务部门有可能对IT部门提出的建议提出挑战。无法协调这二者达成一致,是大多数项目失败的主要原因;2、缺乏数据权限。CRM、OA、DW等各种系统的数据权限不同,如果IT部门无法获得相管数据的执行权限,项目成功无从谈起;3、缺乏专业知识。大数据对企业而言毕竟很新,企业的人才储备往往缺乏相关的专业人才。......【阅读全文】

阅读(711) | 评论(0) | 转发(0)

发布时间:2013-12-02 16:18:37

HIVE中关于Partition的操作......【阅读全文】

阅读(3022) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册