网络存储导论第六章：实现数据迁移

6.4 数据迁移的实现

    数据迁移的实现可以分为三个阶段：数据迁移前的准备、数据迁移的实施和数据迁移后的校验。

    由于数据迁移的特点，大量的工作都需要在准备阶段完成，充分而周到的准备工作是完成数据迁移的主要基础。具体而言，要进行待迁移数据源的详细说明，包括数据的存放方式、数据量、数据的时间跨度，建立新旧系统数据库的数据字典，对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；新旧系统代码数据的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的处理方法，开发、部属ETL 工具，编写数据转换的测试计划和校验程序，制定数据转换的应急措施。

    其中，数据迁移的实施是实现数据迁移的三个阶段中最重要的环节。它要求制定数据转换的详细实施步骤流程；准备数据迁移环境；业务上的准备，结束未处理完的业务事项，或将其告一段落；对数据迁移涉及的技术都得到测试；最后实施数据迁移。

    数据迁移后的校验是对迁移工作的检查，数据校验的结果是判断新系统能否正式启用的重要依据。可以通过质量检查工具或编写检查程序进行数据校验，通过试运行新系统的功能模块，特别是查询、报表功能，检查数据的准确性。

    6.3.1 数据迁移的技术准备

    数据转换与迁移通常包括多项工作：旧系统数据字典整理、旧系统数据质量分析、新系统数据字典整理、新旧系统数据差异分析、建立新旧系统数据之间的影射关系、开发部署数据转换与迁移程序、制定数据转换与迁移过程中的应急方案、实施旧系统数据到新系统的转换与迁移工作、检查转换与迁移后数据的完整性与正确性。

    数据转换与迁移程序，即ETL 的过程大致可以分为抽取、转换、装载三个步骤。数据抽取、转换是根据新旧系统数据库的映射关系进行的，而数据差异分析是建立映射关系的前提，这其中还包括对代码数据的差异分析。转换步骤一般还要包含数据清洗的过程，数据清洗主要是针对源数据库中，对出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行相应的清洗操作，在清洗之前需要进行数据质量分析，以找出存在问题的数据，否则数据清洗将无从谈起。数据装载是通过装载工具或自行编写的SQL 程序将抽取、转换后的结果数据加载到目标数据库中。

    对数据的检查

    数据格式检查：检查数据的格式是否一致和可用，目标数据要求为number 型。

    数据长度检查：检查数据的有效长度。对于char 类型的字段转换到varchar 类型中，需要特别关注。

    区间范围检查：检查数据是否包含在定义的最大值和最小值的区间中；例如年龄为300，或录入日期在4000-1-1。

    空值、默认值检查：检查新旧系统定义的空值、默认值是否相同，不同数据库系统对空值的定义可能不同，需要特别关注。

    完整性检查：检查数据的关联完整性。如记录引用的代码值是否存在，特别需要注意的是有些系统在使用一段时间后，为了提高效率而去掉了外键约束。

    一致性检查：检查逻辑上是否存在违反一致性的数据，特别是存在分别提交操作的系统。

    6.4.2 数据迁移工具的选择

    数据迁移程序的开发、部署主要有两种选择，即自主开发程序或购买成熟的产品。这两种选择都有各自不同的特点，选择时还要根据具体情况进行分析。纵观目前国内一些大型项目，在数据迁移时多是采用相对成熟的ETL 产品。可以看到这些项目有一些共同特点，主要包括：迁移时有大量的历史数据、允许的宕机时间很短、面对大量的客户或用户、存在第三方系统接入、一旦失败所产生的影响面将很广。同时也应该看到，自主开发程序也被广泛地采用。

    相关的ETL 产品

    目前，许多数据库厂商都提供数据抽取工具，如Informix 的InfoMover、Microsoft SQL Server7 的DTS 和Oracle 的Oracle Warehouse Builder 等，这些工具在一定范围内解决了数据的提取和转换。但这些工具基本都不能自动完成数据的抽取，用户还需利用这些工具编写适当的转换程序。

    例如Oracle 的Oracle Warehouse Builder 数据抽取工具，简称OWB，提供的功能包括：模型构造和设计；数据提取、移动和装载；元数据管理等。但OWB 提供的流程繁琐，维护很困难，不易于使用。

    在第三方产品中，Ascential Software 公司的DataStage 是一套相对比较完善的产品。DataStage 可以从多个不同的业务系统中，从多个平台的数据源中抽取数据，完成转换和清洗，装载到各种系统里面。其中每步都可以在图形化工具里完成，同样可以灵活的被外部系统调度，提供专门的设计工具来设计转换规则和清洗规则等，实现了增量抽取、任务调度等多种复杂而实用的功能。其中简单的数据转换可以通过在界面上拖拉操作和调用一些DataStage 预定义转换函数来实现，复杂转换可以通过编写脚本或结合其他语言的扩展来实现，并且DataStage 提供调试环境，可以极大地提高开发和调试抽取、转换程序的效率。