Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1973457
  • 博文数量: 148
  • 博客积分: 7697
  • 博客等级: 少将
  • 技术积分: 3071
  • 用 户 组: 普通用户
  • 注册时间: 2006-03-10 23:04
个人简介

MiBDP,数据开发、项目团队、数据应用和产品在路上,金融保险、互联网网游、电商、新零售行业、大数据和AI在路上。对数仓、模型、ETL、数据产品应用了解。DTCC 2013演讲嘉宾,曾做过两款大获好评的数据产品平台。知识星球ID:35863277

文章分类
文章存档

2020年(1)

2019年(2)

2017年(2)

2016年(5)

2015年(1)

2014年(1)

2013年(6)

2012年(5)

2011年(24)

2010年(28)

2009年(1)

2008年(6)

2007年(30)

2006年(36)

分类: 架构设计与优化

2013-08-17 01:23:44

    题外话:跟数据打交道摸爬滚打有几个年头了,在传统的金融行业干过,互联网行业呢仍在努力中,移动互联网行业也接触了一些,其他行业(的数据分析、数据平台或者数据仓库)也跟小伙伴们在一些群里讨论过,切入正题:下面呢就我所接触的这些行业/项目共同的实施模式抽象一下,总结一下:)

        个人的体会是所有企业、公司对数据分析、数据平台、数据仓库实施的模式,泛方向上看都是采用由底向上的模式开始的(PS:什么是由底向上模式可以度娘)。这个如果用后来金博士与因梦大师关于数据仓库建设实施的观点来说的话接近于金博士的先集市再仓库的观点,都先有特定分析需求或特定报表开始,然后再到平台。这个我们可以追溯到最原始的纸质报表时代(自定义为数据分析1.0时代),当时的报表多数是针对某些部门,某些统计数据。再到现在的各分析工具,传统数据仓库/数据平台(2.0时代)也是先做一些部门的数据一些关键指标报表(尤其是互联网公司要先让VP、BOSS们先看到效果,要快),然后再规划重构平台,最后到现在的开源数据分析解决方案、数据仓库一体机(基于MPP体系结构的3.0时代),所有这些在统一平台前都是会由一些特定的分析需求或特定报表而先使用,先见效果再来,在尝到了“甜头”之后,对统一数据平台/数据仓库、数据中心的迫切要求就来了,必须得建,得弄了,才会再统一规划重构数据中心、数据平台、数据仓库,这时的实施模式就会由原来的自底向上转变为站在更高的角度下的自顶向下模式了。需要说明的是在自顶向下模式(数据仓库平台)的构建过程中原来的data mart集市将会继续保留。直到平滑过渡 :)

       在由自顶向下模式(数据仓库平台的构建过程中规划是尤为重要的,这个规划包括但不仅仅有平台的定位,技术方案的选型,人员的配备,系统的架构,详细的设计等。这里还有要说的一个就是有时我们看重的不仅仅是我们把事情做成的结果,其实我们更注重这个过程。
阅读(6489) | 评论(0) | 转发(2) |
给主人留下些什么吧!~~