一杯茶，品人生沉浮；平常心，遍万千世界。 农夫，山泉，有点田儿。
分类： 数据库开发技术
2006-04-28 11:18:44
业务需求
某家位列国内五大电信运营商之列的通信公司（以下简称“通信公司”）在多年的运营过程中，积累了大量的业务数据，分散在各个运营系统中（计费系统、九七工程、网管系统等）。这些系统主要是面向公司的日常运行和维护，虽拥有最全面详细的内容，但是却无法满足公司如市场分析、客户分析的需求。也就是说，这些数据库系统像一个个孤岛，很难得到综合利用。而这些数据分析对于公司的发展来说却是至关重要的。
互联网技术的发展，为电信的企业信息、客户信息、服务信息在企业内部、企业和客户间畅通传递奠定了技术基础。在数据库应用系统领域，也提出了数据仓库的概念。数据仓库系统就是通过集成企业多种新旧业务的数据，建立完备的数据信息库，并对其进行深度统计分析挖掘，以针对不同的用户群，进行精确市场营销、销售，改进服务、创造新的业务模式，最大程度满足客户个性化需求，并把客户的满意度转化为企业的核心价值。因此，该通信公司急需一套可以对历史数据进行有效整合并根据需求进行展现的综合报表和决策分析系统。
为了终结该电信公司系统内部的信息孤岛，利用先进的工具实现信息的共享和传递，使丰富的历史数据可以为决策做出强有力的支持，我方的技术人员与该通信公司的相关部门人员进行了深入沟通，掌握了通信公司的现有系统特点和客户的需求。着眼于未来发展的趋势，提出了系统目标如下：
系统目标
利用数据仓库技术和OLAP技术，对电信业务的实际计费数据进行分析，了解和掌握通信公司的业务特点，将通信公司内部各系统的有用数据（尤其是计费数据）进行抽取、转换、整合，根据各个部门的实际需求进行展现，以支持企业进行分析和决策。为企业级的数据仓库的建立奠定良好的基础。
这套综合报表和决策分析系统以计费系统为主，其他运行系统为辅，提供市场经营部的业务需求，在系统构架建成之后，可以满足公司各经营、维护部门、各种人员的全部需要。
对于一个电信公司来说，计费系统的重要性不言而喻，但计费系统的开发角度决定了无法灵活的对各种计费数据信息进行综合的、灵活的分析。而我们的综合报表和决策分析系统这些分析报表却正好可以弥补这个遗憾，能更充分、直观的了解公司的经营现状，以及更好的帮助领导进行决策和分析。
解决方案
该套综合报表和决策分析的数据仓库应用系统是在现有的九七、计费等系统的基础上，结合一些外部数据和文档资料，对数据进行抽取、转换、集成，按照主题进行重组，并装载到数据仓库中。同时针对分析需求对数据仓库中的数据建立有效存储和高效索引机制，从而提高系统分析、统计的效率。在此基础上，对电信业务的各个指标多角度、多层次的分析，完成电信业务分析系统的功能，最终支持辅助决策。
一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、OLAP服务器以及前端工具与应用四个部分。如图：
（1）数据源
此部分是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于企业操作型数据库中（通常存放在RDBMS中）的各种业务、运营数据和办公自动化（OA）系统包含的各类文档数据。外部信息包括各类法律法规、市场信息、竞争对手的信息以及各类外部统计数据及各类文档等。对于通信公司的实际情况，数据源包括：九七、计费、网管等现有业务系统及其它外部数据源。
（2）数据存储与管理
此部分是整个数据仓库系统的核心。在现有各业务系统的基础上，对数据进行抽取、清理，并有效集成，按照主题进行重新组织，最终确定数据仓库的物理存储结构，同时组织存储数据仓库元数据（具体包括数据仓库的数据字典、记录系统定义、数据转换规则、数据加载频率以及业务规则等信息）。按照数据的覆盖范围，数据仓库存储可以分为企业级数据仓库和部门级数据仓库（通常称为“数据集市”，Data Mart）。数据仓库的管理包括数据的安全、归档、备份、维护、恢复等工作。这些功能与目前的DBMS基本一致。
（3）OLAP服务器
对分析需要的数据按照多维数据模型进行再次重组，以支持用户多角度、多层次的分析，发现数据趋势。其具体实现可以分为：ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；而HOLAP是ROLAP与MOLAP的综合，基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。
（4）前端工具与应用
前端工具主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基于数据仓库或数据集市开发的应用。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具既针对数据仓库，同时也针对OLAP服务器。此部分由MIS提供。
结构特点
根据通信公司的实际需求，本系统的实际结构如下图：
（1）灵活的体系设计
·Browser/Server体系结构，零客户端，支持移动办公，满足决策支持的随机性和及时性
·支持与各种主流数据库平台、多维分析引擎、数据挖掘引擎和前端展示工具的无缝集成，便于扩展
·采用动态维等特有的设计技术，适应需求的灵活变化，可以随时根据实际需求进行功能的灵活扩充。
（2）完善的业务分析功能
·完善而丰富的业务分析模型，更好地实现更具个性化的决策支持应用
·积极参加行业内相关系统规范的制定，对业务需求了解深刻
·全面的主题分析及专题分析
·快速构造企业商业智能信息门户，为各类用户提供丰富多彩的决策支持信息服务，如信息广播、告警预警等
·采用数据挖掘技术建立分析模型
（3）完整的具有前瞻性的系列解决方案
·本解决方案，面向电信企业，具有很强的扩充性，各个方面的建设都以构建企业级的数据仓库为目标。适应电信行业市场竞争的需要
·支持与业务支撑系统(OSS/BSS)的互动，经营分析结果反馈到业务运营系统中，形成闭环系统(Close-Loop)
·与操作型CRM的实现无缝集成
实施方案
综合报表和决策分析系统主要以计费系统为主要数据源，针对市场经营部的业务需要而建设的。
通信公司计费系统为Oracle数据库。Oracle公司作为世界上最大的数据库厂家之一，凭借其在技术、资源和经验上的优势，一直致力于为企业提供最能满足企业竞争需要的数据仓库解决方案。因此，我公司为本系统设计也是以此为核心的。
实施的全过程共分成5个阶段，依次完成并通过验收。
（1） 方案的第一阶段为需求调研
分为两个部分：业务需求调研和技术需求调研。
对于业务需求调研，主要是指对进一步了解通信公司市场经营部业务需求，熟悉计费业务的产品结构和工作流程，此部分是整个项目的基础。
对于技术需求的调研，主要是完成对目前系统状况的分析，确定数据库类型，操作系统类型，接口与接口程序语言等等。
（2） 方案的第二阶段为概要设计
分为两个部分：数据层设计和应用层设计。
第一步为数据层设计，主要是指根据需求调研，制定本系统的数据结构。如数据仓库的建立方式、表空间的划分、用户组的制定、以及一期报表对应的数据流程、数据结构的设计等。
第二步为应用层设计，此部分包括数据抽取应用的结构设计、模块划分以及针对一期报表的数据提取计划的设计。
（3） 方案的第三阶段为详细设计
分为两部分：数据抽取系统的设计和报表部分的设计。
对于数据抽取系统的设计，主要包括抽取系统后台参数表结构的设计以及前台具体应用模块具体实现细节的设计。如系统应用流程、编码规范、系统的过程与函数的划分、接口的设置以及存储过程的调用方式等等。
对于报表部分的设计，主要包括后台数据的具体存储方式、前段展现方式的设计，如：数据表结构的设计、表分区的划分，报表展现的样式、风格、钻取方式等。
（4） 方案的第四阶段为编码
分为两个部分：编码和系统整合、测试。
编码分为对应数据抽取系统的开发和针对报表的数据整理定制开发与编码两个部分。
对于抽取系统的开发，开发的技术难点主要是抽取系统的配置的灵活性、扩展性和灵活性方面，所以此部分需要时间较长。
对于报表的后台数据整合开发与编码，此部分主要是工作是编写用于抽取系统触发、调用的后台存储过程，以便根据展现的需要对数据进行处理。
对一期报表的前段展现的开发与编码，主要是根据经营部的需要通过展现工具制作OLAP立方体，建立多维数据库，并最终生成报表。
对于内部整合、测试，主要工作就是将抽取系统与针对一期报表编写的用于后台数据处理的存储过程连接、调用并测试提取速度和数据准确性。需要在以上三部分全部完成后统一进行。
（5）方案的第五阶段为实施及用户级测试。
对于系统实施阶段，主要是指应用系统软、硬件环境的搭建，以及相关数据结构的建立。
而对于具体报表的实施，则是采取串行方式提交，根据编码进度逐个提交。
对于用户级测试阶段，主要是指指导、配合用户对系统进行测试，以便系统能够真正为用户所用。
实施效果
（1）信息共享度提高
原来各运营系统间数据共享不畅通的现象大为改善，相同数据在不同部门、不同统计口径方面的不一致现象得于杜绝，信息共享度提高。
（2）系统报表提升统计效率
系统报表的统计功能大大缩短了通信公司原先的数据统计时间，而且准确度更高，操作更便捷。
（3）数据分析效率大为提高
通过该系统，客户对数据的分析更加及时、准确，分析操作加工更为便捷，数据分析的内容更为丰富。
（4）对企业管理层决策提供了强有力的数据支持
由于对数据的深度提炼，企业在经营决策时有了充分的数据支持，为企业提升自身竞争力提供了动力。
