发布时间:2013-12-17 14:01:26
MongoDB 本身可以做一些简单的统计工作,包括其内置的基于 Javascript 的 MapReduce 框架,也包括在MongoDB 2.2版本中引入的新的统计框架。除此之外,MongoDB 还提供了对外部统计工具的接口,这就是本文要说的MongoDB-Hadoop的数据中间件。MongoDB与Hadoop相结合的方式如下图所未,MongoDB作为数据源存储以及数据.........【阅读全文】
发布时间:2013-12-06 11:04:12
1、自己写MapReduce任务,虽然开发难度大一点,但运行效率比Pig和Hive高,像Google的PageRank排名,机器学习、推荐,全盘扫描的ETL都是这种方式的典型应用;2、用Hive做分析,Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写,但某些运算效率不及M/R;3、用Pig做数据分析,Pig是Yahoo的研发成果,yahoo也希望.........【阅读全文】
发布时间:2013-12-05 11:09:28
企业的大数据项目之所以会失败,主要是因为:1、缺乏一致性。IT部门和业务部门所处的角度不同,业务部门有可能对IT部门提出的建议提出挑战。无法协调这二者达成一致,是大多数项目失败的主要原因;2、缺乏数据权限。CRM、OA、DW等各种系统的数据权限不同,如果IT部门无法获得相管数据的执行权限,项目成功无从谈起;3、缺乏专业知识。大数据对企业而言毕竟很新,企业的人才储备往往缺乏相关的专业人才。......【阅读全文】