企业的业务信息数据有其生命周期,从产生那一刻起,就进入了一个循环,从收集、复制、访问、迁移到删除,周而复始。处在生命周期的不同阶段,信息数据的价值是不一样的。新的现实是,业务信息需要不同的保护级别,一些信息和事务需要比以前更高级的保护级别,而另外一些信息和事务则仅需要以更有吸引力的价位提供标准保护就行了。因此,电信企业在建设业务运营支撑系统(BOSS)时,有必要根据信息价值的变化将实施分级存储,以合理调配存储资源,降低整体拥有成本。
江苏移动:
江苏移动通信有限责任公司(以下简称为“江苏移动”)是中国移动(香港)有限公司下属全资子公司,是江苏省内最大的移动通信运营商,拥有GSM900、GSM1800、模拟TACS以及互联网业务的运营权,有1200万用户,年运营收入超过百亿元。
江苏移动的业务分类及容灾备份要求:
江苏移动BOSS系统的容灾备份系统网络拓扑结构如下图所示:
SRDF 多跳式远程灾备系统(multi hop)
江苏移动BOSS容灾备份系统架构
如图所示,江苏移动的BOSS系统的容灾备份系统在连接BOSS系统的同时,还与采集、漫游结算中心、营业厅、网上营业厅、银行、HLR/AUC、1860/1861、秘书台等外围接口互连。生产中心和容灾中心不仅有高速网络互连,还有存储级的链路互连。
整个BOSS系统包含采集、计费、网间结算、帐务处理、帐务管理、客服管理、统计分析等子系统,从涉及范围、数据完整性、客户满意度、公司经济损失等方面来分析、评估BOSS系统发生灾难时对公司业务发展和业务运营的影响程度来看,采集、计费(含采集、漫游结算)、帐务管理、帐务管理、客服管理(营业)等系统属于关键业务系统,其数据的完整性和恢复及时性要求比较高,长时间的中断会对客户服务、业务受理造成直接或间接影响,直接导致经济损失,影响公司的信誉和市场竞争力,导致市场占有率和客户满意度下降,影响客户发展和业务开展。统计分析、网间结算则属于非关键业务系统,其数据的完整性和恢复及时性要求不高。BOSS系统管理子系统承担了系统运行维护管理功能,其数据的完整性不是十分重要,但是系统恢复及时性比较高。其长时间的中断不产生直接的经济损失,但是会有间接损失,如把握不住市场经营和竞争情况,无法抓住商机等。
下面的表格量化了BOSS灾难对业务的影响,将业务影响涉及的范围、数据的完整性、客户投诉、公司经济损失等影响级别分为5个等级,分别用1~5来表示,1级别最高,5级最低。
根据对业务系统特性的分析,江苏移动要求BOSS关键业务系统(含采集、计费、帐务、营业子系统)的容灾备份RTO指标<4小时,RPO指标=0;非关键业务系统(报表、结算系统)RTO指标<24小时;客户资料和话单达到零丢失;可以防止地震、火灾、水灾、恐怖袭击、爆炸等高破坏性的灾难;能发充分发挥容灾备份中心的设备资源利用率。
江苏移动BOSS系统目前支持的移动用户多,业务数据量大(天业务量超过100万笔,每天话单处理量超过1.2亿条,每天数据库归档日志超过800GB),中心机房距离生产中心的距离远,如此大量的数据通过远距传输不但使得许多同城容灾备份技术无法使用,而且也影响网络响应速度。对容灾备份数据进行分类对关键业务数据进行同步备份,而非关键数据进行非同步备份显得很为必要,如采集、计费、帐务、结算、报表属于典型的Batch业务,营业则属于典型的OLTP。
江苏移动对于容灾备份系统系统的设计原则是:
关键业务处理能力和BOSS中心一致;2)数据状态和BOSS保持同步;3)容灾系统日常维护工作尽可能轻,并能承担部分业务处理和业务测试的工作;4)系统接管恢复时间要尽可能短;5)可实现部分业务子系统切换和回切;6)技术方案选择要遵循成熟稳定、高可靠性、可扩展性、透明性;7)系统方案可以选择多种技术组合方式。
江苏移动容灾备份方案选择:
同步远程灾难备份对数据保护达到最高级别,然而距离很长时线路上的延迟会很明显,对主机性能的影响也会很大。异步远程灾备虽然不影响生产系统的性能,但容灾中心数据会比本地生产端数据落后一定时间段,这个时间随采用的技术,带宽、距离、数据流特点的不同而不同,发生灾难时有一定的数据丢失。因此,江苏移动采用同城同步远程灾备(20KM)加异地异步远程灾备(220KM)的多跳式(multi hop)远程灾备解决方案。
目前如此先进且完善的灾备系统在全国还是首例,而且数据量规模之大(12TB)在国际上也不多见。因此江苏移动对设备供应商提出了极高的要求,不仅要提供经验证的产品而且要有强大的技术服务支持。
EMC公司是全球信息存储领域领导厂商,其SRDF远程灾备解决方案在“9.11”中帮助了25家设在世贸中心的企业成功的保护了数据,被称为“9.11中的技术英雄”,是经过实际考验的成熟解决方案。EMC的存储产品在银行、保险、电信行业有广泛应用。中国联通的四川、山东、江苏、安徽、浙江等分公司,中国移动的北京、辽宁和云南分公司,以及金融行业的上海证交所、深圳证交所、光大银行、广东建设银行、中国建设银行总行、福建兴业银行、浦东发展银行、韩国KTF、香港汇丰银行、花旗银行、新加坡发展银行、BankOne等众多企业都是EMC存储产品的用户。
江苏移动自2001年至今与EMC公司有着长期的合作,在BOSS系统构建项目上已经采购了总容量超过300TB的存储设备,包括Symmetrix企业存储系统系列、ECC Package和PowerPath等软件,EMC的存储设备成功联接了江苏移动原有的、主机、数据库,帮助江苏移动建立起了计费、结算中心。此次又采用了EMC DMX系列存储系统以及SRDF、Timefinder等存储软件用于容灾备份系统。
除了优秀的产品外,江苏移动也十分看重EMC提供的专业服务。先进的多跳灾备系统技术上非常复杂,没有该领域的专业技能很难完成,而业内很少有厂家能够象EMC一样提供专业的存储服务。EMC为江苏移动提供了从咨询、评估、实施到性能调优全面的专业服务,帮助江苏移动更快、更好的完成了项目。
江苏移动容灾备份系统的生命周期管理:
江苏移动首先针对各业务的性质特点,对数据的同步实行分级存储管理。其实施原则是:对于变化频度低的数据,如计费参数复制、操作员认证信息、关键配置信息等则采用基于ORACLE 9i物化视图方式的数据复制方式。对于变化频度比较高的数据,如前台交易事务、话单合帐信息等,每天数据库产生的归档日志合计就有800GB,则采用Multi-Hop容灾备份。Multi-Hop结合TimeFinder软件提供的具有差分再同步功能的完整拷贝,以及SRDF软件的远程数据完整拷贝、高带宽复制功能,可以达到具有远程灾备功能的完全数据库热备。Multi-Hop的同步复制是存储软件实现的,和主机、操作系统、逻辑卷是分离的。多种主机、操作系统、逻辑卷的环境都可以通过一种存储复制软件实现容灾备份,使用的是存储系统的内部资源而不是主机的资源,因此,不占用生产系统主机资源,同时使得容灾备份系统在维护管理上会相对简单。
具体的分层存储管理方案如下:
计费系统是BOSS的关键业务,其数据的完整性和恢复及时性要求比较高。对计费采集模块,灾备中心与生产中心之间采用文件数据同步。计费数据库的数据状态则采用数据库物化视图的同步机制,以减少日常维护的工作量。对于计费过滤表、漫游数据全部采用应用软件实现,垂直同步保证生产中心和容灾中心数据处理同步进行,水平同步保证准实时同步计费过滤表、漫游数据,保证容灾中心和生产中心计费系统数据一致性。
营帐系统是BOSS系统的核心系统,包含了后台帐务、前台客服,其数据的完整性和恢复及时性要求也比较高。帐务客服数据库的数据状态采用智能存储系统Multi-Hop的同步机制,保证数据达到零丢失,同时减少日常维护的工作量。查询数据库规模比较大,数据量保留大,采用出帐后的导入,同时对批价后的话单文件进行入库进行处理。各种同步方案提供反向同步机制,保证接管后回切成功。
网间结算、统计分析是非关键业务系统,其数据的完整性和恢复及时性要求不高。网间结算数据库的数据状态采用定期导入(数据库逻辑或物理备份恢复)的同步机制,减少日常维护的工作量。
分级存储不仅是从成本角度对存储进行分级,对数据信息进行分类、对存储结构进行划分,同时要考虑实际应用,考虑高、中、低各种不同的硬件平台。对于容灾备份系统的数据信息存储,江苏移动根据数据信息的重要程度进行了分层存储。对于营帐系统(帐务、客服)等核心系统的业务数据,总共有12TB,采用远程同步灾难备份,放在Symmetrix DMX网络存储上,以确保缴费、开机、查询、业务变更等BOSS关键业务的数据完整性和恢复及时性达到较高的要求。对于其他非关键业务系统,总共有80多TB的容量,如查询历史记录等,由于其详细清单需要在容灾中心的数据库中保留2~3个月,不但存储规模大,要求存储的时间长,而且利用率也不是很频繁,江苏移动采用了磁带机进行备份。根据数据的使用频率和重要程度实施分级存储管理的直接好处是改进了备份时间、更好的利用了备份存储资源,降低了成本。
结束语:
BOSS系统是江苏移动提高公司核心竞争力的有力武器,对江苏移动BOSS容灾备份系统实施信息生命周期管理,为企业提供了一个简单有效的方法来发现、评估、回收和管理文件级的利用率和可用性,可以执行对那些不需要的备份或非业务数据的剔除,将重要数据但不活跃的数据移动到更经济高效的存储介质中,改进了备份时间、更好的利用了备份存储资源,降低了成本。