Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2013413
  • 博文数量: 148
  • 博客积分: 7697
  • 博客等级: 少将
  • 技术积分: 3071
  • 用 户 组: 普通用户
  • 注册时间: 2006-03-10 23:04
个人简介

MiBDP,数据开发、项目团队、数据应用和产品在路上,金融保险、互联网网游、电商、新零售行业、大数据和AI在路上。对数仓、模型、ETL、数据产品应用了解。DTCC 2013演讲嘉宾,曾做过两款大获好评的数据产品平台。知识星球ID:35863277

文章分类
文章存档

2020年(1)

2019年(2)

2017年(2)

2016年(5)

2015年(1)

2014年(1)

2013年(6)

2012年(5)

2011年(24)

2010年(28)

2009年(1)

2008年(6)

2007年(30)

2006年(36)

分类: Delphi

2012-12-19 17:35:05

1.首先选一个自己敢兴趣的行业,对业务做深刻的研究(这里多数人从事的可能不是自己向往的行业,对业务也不一定有很深入的研究,充其量可能也就是了解而已),这样做出来的东西才会更靠谱,实用,才能更好的指导业务,辅助决策。
2.系统架构开始就有明确规划。包括硬件选型,软件使用,软件的话现在做数据仓库选择性很大,个人观点选团队熟悉的适合公司发展的,具体不赘述了。具体实施时可以先按产品、分主题,排优先级按集市来实施开发,一定阶段后再考虑整合创建全局数据仓库。注意系统间耦合性要降低。另外开发实施初期就要把性能考虑进去,可利用一些综合手段或方法(分区 并行 集合运算)使程序性能达到高效。(个人感觉数据仓库OLAP系统的优化很多时候按照传统的OLTP系统的优化来做是不够的比如加索引,更改SQL的执行计划等,觉得最有成效的做法是优化流程,拆分业务逻辑 ,逻辑拆分越简单越好,简单的才是最好的)。
3.指标定义明确(把指标相关定义加入到帮助文档,最好可以有伪SQL。前期指标定义先精后广),指标定义要原子化、层级化、一致化,指标统计口径严格统一,上层展现只依赖一个地方出指标。
4.合理规划数据存储。仔细考量数据粒度,做好对数据量的预判,避免数据存储空间的浪费,多使用分区表,大表使用单独文件存储。
5.密切关注数据质量:对源数据应加强探查不断提升源数据的质量。而元数据应加强统一管理(有条件的话可以做成类MIS的管理系统),元数据先行,贯穿项目的始终。还有一个很重要的就是ETL的实施,ETL的监控(监控这块儿各接口间一定要有比较详尽的日志反馈,父级调用一定需时刻跟踪子级的反馈状态)ETL自动恢复。ETL要做到战略上藐视,战术上重视。
6.最后就是关于文档的编写及维护要规范化。
阅读(7955) | 评论(1) | 转发(2) |
给主人留下些什么吧!~~

fengzhanhai2017-01-31 17:16:13

思路不错,虽然简短,但字字如金!