解析中国移动计算清算中心容灾备份应用方案

在一定的实施风险下，一种在国内外还没有成功应用的容灾方案，却引起了中国移动极大的兴趣……

项目背景

如今，手机在为人们随时随地进行联系提供便利的同时，也对电信运营商的计费系 统提出了挑战。为了准确、实时地计算移动电话的漫游费用，中国移动对其计费清算系统进行了多次开发和完善。1999年，由中国有限公司惠普咨询事业部（C）承担的中国移动计费清算系统第三期工程（简称三期系统）完成后，中国移动在国内首次实现了无误差清算，即中国移动计费清算中心的统计数字和各省公司及外国运营商的统计数字一致，支持了中国移动漫游业务的迅速扩展。

三期系统的完成解决了中国移动漫游话费实施准确清算的难题，也使中国移动的计费清算业务运行高度依赖计算机系统。尽管惠普公司在该系统中采用了多种高可靠性措施，如多机冗余备份等，但仍不能抵御地震、火灾等区域性灾难的发生。一旦地震等灾难性事故发生，中国移动的漫游话费计算和清算业务将会陷入瘫痪，漫游话费将无法收取。对于拥有1亿多用户的中国移动来说，即使一个小时无法收取漫游费用，也将是一笔天文数字的损失。

为了确保中国移动漫游清算业务的可靠性和连续性，中国移动在北京计费清算中心的基础上，又建立了深圳计费清算中心。两个中心互为备份，构成容灾系统，以抵御区域性灾难。为了解决北京、深圳两个计费清算中心之间的备份难题，中国移动进行了广泛的实施方案征集。

方案选型

面对中国移动的备份难题，众多IT厂商提出了各种容灾方案，如磁盘镜像、数据库复制、操作系统级同步等，但都无法满足用户的要求。因为北京和深圳之间2000多公里的距离、中国移动TB级的数据和每日上千万张话单，对任何依赖于硬件的容灾方案都存在着难以克服的技术障碍。如果采用硬件同步传递方式，按照TB级的数据量，中国移动在北京和深圳间租用的带宽要超过100兆，这将是非常大的一笔投资。

对此，惠普咨询根据自身对移动业务多年的理解和参与三期系统建设的实践经验，跳出硬件和中间件同步传递方案，提出了一套基于应用的容灾方案。该方案不使用硬件和中间件技术，只是通过修改计费清算软件来达到北京和深圳同时处理移动计费清算业务的目的，既提高了同步的效率，又降低了用户的运营成本，使用户无需在北京和深圳之间租用一条几十兆甚至上百兆带宽的光纤。尽管这种方案在国内外还没有成功的案例，存在着一定的实施风险，但还是引起了中国移动极大的兴趣。

项目目标

中国移动计费清算中心容灾备份项目的目标是在不影响三期系统业务功能的条件下，在北京计费清算中心和深圳计费清算中心之间，分别为国内漫游业务系统和国际漫游业务系统建立容灾备份机制，可对发生灾难的业务系统进行容灾切换，而不影响另一业务系统，从而实现交叉容灾备份模式。国际漫游（GSM）业务以北京中心为主系统、深圳中心为备系统；国内漫游（GSM）业务以深圳中心为主系统、北京中心为备系统。在系统维护和管理决策人员做出灾难决策后，系统执行切换的时间将不超过2小时。

应用模式

在该系统中，主备双方采用完全相同的应用软件，在应用程序中嵌入数据同步功能。在数据发送模块中，要求省中心和国际运营者同时向主系统和备系统发送上发文件。在正常情况下，只有主系统将处理结果文件向各省或运营者下发，而备系统只生成结果文件但不下发。该容灾系统较好地解决了三个方面的核心问题:

● 主备应用系统软件的更新随机性。由于三期系统的业务更新很快，软件版本不断升级，若要确保备系统是与主系统具有相同处理能力和处理行为的等价系统，首先必须建立起一套有效的主备系统版本更新和监控的控制机制和管理规章制度。

● 主系统处理的数据随机性。主系统在处理数据时包括相当多的随机数据，如处理时间、随时变化的参数等。若备系统采用同步处理的方式运行，必须确保使用与主系统完全相同的随机数据，才能得到相同的处理结果。

● 与外部系统的接口数据同步。三期系统的主要外部接口包括31个省中心和120多个国际运营商（包括国际清算中心）。为了实现容灾备份，备系统必须同这些外部系统具有与主系统相同的接口，接收和处理相同的数据，并且需要建立起一套校验机制，以确保主备系统接收和处理的数据完全相同。

案例点评

在中国移动全国清算中心容灾备份方案中，有两点值得关注。

一是案例本身的创新性。远程备份并不新鲜，但距离如此之远、数据量如此之大比较少见。惠普公司提出的超越硬件和中间件的应用级容灾方案在理论上以前出现过，但真正实施不仅在国内是首次，在国际上也没有成功案例。在实施过程中，惠普咨询一方面聘请国内外专家顾问，对应用级容灾思想进行了细化和实验，逐步形成能够进行工程实施的设计；另一方面组织起一支30多人的项目实施队伍，经过一年的努力，终于开发出具备容灾能力的计费清算系统，并于2002年1月上线试运行。

二是体现了以客户为中心的经营理念。在中国移动全国清算中心容灾备份方案中，如果采用远程镜像方式，深圳清算中心将需要购买很多大容量的高级磁盘。对负责实施的IT公司而言，采用硬件备份方式的盈利率当然要比采用软件高得多。但从客户角度来看，远程容灾备份主要是为了抵御地震、火灾等区域性灾难，而这种灾难经常是百年不遇，但又不得不防范，因此客户既需要远程备份又不能大量投资。惠普公司坚持以客户为中心的服务理念，采取应用级解决方案，保证了中国移动在投资不太高的情况下，实现了两个备份中心在不多于两个小时的时间内完成切换，让用户感到其计费清算系统不再是一个发生局部灾难就可能瘫痪的系统，同时也提高了中国移动在国际同行间的信誉。