Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1047205
  • 博文数量: 74
  • 博客积分: 10000
  • 博客等级: 上将
  • 技术积分: 2950
  • 用 户 组: 普通用户
  • 注册时间: 2007-05-15 00:17
文章分类

全部博文(74)

文章存档

2009年(1)

2008年(73)

我的朋友

分类: 服务器与存储

2008-06-30 17:03:45

与同类技术相比:
1.1 处理性能方面
复制软件在电信行业的应用很大一个问题就是性能问题,高并发的大量交易,复制软件能否满足如此高并发的应用是一个非常重要的问题。
从大量的应用情况来看DSG RealSync在处理性能上优于同类方案。
我们采取了积压日志分析的方式进行测试,预先产生10GB的日志数据,然后启动realsync测试其在多长时间内能够分析完这些数据。测试结果表名,在rac模式下,由两个数据库节点同时工作,在5分钟内产生的10GB归档日志,共计800万条记录,realsync只需要2分钟即能分析完累积的日志,其速度远远高于产生日志的速度。完全能够满足电信级业务需求,即使是在业务高峰期,也不会造成日志累积。
在实际工程中,DSG RealSync每天分析的日志量达到了600GB.
1.2 实现首次同步方面
首次同步是电信业应用实施的一个关键环节,因为高达TB级的数据对于什么方案来说都是一个关键。因为需要解决几个问题:
 时间:确保在业务允许的时间内作完全同步;
 低影响,要求不能停止业务;
 使用方式灵活;
RealSync提供内置数据初始化同步功能,该功能与物理拷贝方式(磁盘对拷、RMAN COPY、备份恢复)和逻辑方式(ORACLE EXP/IMP)相比具有以下特点:
1. realsync在作全同步时无需停止业务;
2. realsync作全同步的点和日志分析的点自动匹配,无需人为干预。因为如果需要人为干预就必需停止业务,否则无法保证全同步和增量同步之间的无缝衔接;
3. realsync在作全同步时可根据业务灵活调整,如根据业务规则分批进行全同步、而无需一定要在有限的时间内完成整个库的全同步,而是把业务变化最频繁,容灾需求最紧急的数据优先同步;
4. realsync作全同步采用IP网络通讯,对存储的结构无要求,不要求两个存储之间一定要在同一个SAN结构下,或者要求两个存储之间一定要有阵列复制软件;
5. RealSync采用多任务并发方式进行全同步,性能完全能够满足业务需求,如采用8个任务并发,可在8小时左右完成1.3TB的数据的全同步(该数据为有效的记录数据,而不是数据库分配大小);
6. realsync支持源系统和目标系统之间的OS系统、存储系统、数据库版本不相同;
而同类解决方案一般推荐两种方式:存储拷贝方式或者EXP/IMP方式。
我们认为这两种方式存在很大的缺点:
1. 存储拷贝和EXP/IMP方式都需要停止业务
2. 导出和导入时间非常长,用EXP方式无法完成几百GB的数据库导出任务,更何况电信级的TB级系统
1.3 满足应用软件需求方面
数据库复制技术虽然是一个底层的复制方式,表面上看来完全不用关注应用系统如何实现,但实际工程中二者的关系非常密切。
例如DSG在电信行业工程实施中发现日志量产生非常庞大,如果应用软件按照固定模式的方式实现,每天能够处理的日志量在100GB左右,而DSG公司针对用户实际情况攻关努力,将速度提高到了每天处理600GB左右。
例如在电信行业中每月月底都将进行创建新的月套表操作,而同类的复制软件需要进行大量的手工操作,重新建立复制关系等,导致每月需要的人工操作量非常大,而DSG根据特殊需求进行了改进,实现自动化的复制操作。
例如在证券行业将进行大量的IMP操作,而同类产品不提供这种特殊处理的改进,导致证券业每天进行的清算操作难于复制,而DSG公司则针对该现象进行特殊支持。
例如如何处理RMAN在删除日志时不要删除复制软件还没有分析的日志问题上,DSG立即从软件研发上给予了支持。
以上种种状况都说明复制软件与应用系统密切相关的,我们需要复制软件不断的完善和客户化来满足应用的需求。这是DSG REALSYNC在市场竞争中具有绝对优势的地方。
1.4 大容量系统应用案例方面
电信行业是目前在数据库容量方面,在日志产生的速度方面,在业务量繁忙方面都是其他行业所无法比拟的。
DSG RealSync在国内电信行业的数据复制应用案例方面远远多于同类厂商,例如在广西移动、辽宁网通、山东联通、江苏联通以及在广东联通、辽宁联通等大容量的电信行业的运行说明DSG公司的产品在满足电信行业的超大容量系统方面具有独特的优势。
1.5 软件更新和后续开发方面
数据复制容灾系统在业务连续性中是非常关键的,这种系统的建设不是单纯的产品购买问题,而是涉及深入到应用系统逻辑的支持。对于数据复制系统上的后期支持,以及针对新业务的开发上都需要有厂商更大的支持。
DSG作为立足国内,面向世界的软件开发商,在国内设有研发中心和技术服务中心,在国内建有完善的售后服务体系。可以针对应用要求提供客户化支持,为该项目未来发展提供不间断的后续支持,提高响应速度。并且在工程实施方面将由DSG公司直接负责,保证了系统建设成功率。
如对于应用会用到的特殊功能(如延迟装载),DSG因为在国内有研发机构,因此能够及时响应。

ORACLE DG技术相比:

DSG RealSync
ORACLE DG
适合对象:
¨         适合从工作组级、企业级到数据中心级的复制需求。
¨         无论系统采用什么样的服务器平台、什么样的存储平台,只要是ORACLE系统之间的复制即可适用。
优点:
¨         目标端数据可用:目标端数据库在复制过程中出于可用状态,可用作数据查询、报表、数据抽取等任务分担;
¨         异构系统复制:源端系统和目标端系统可以采用异构的操作系统平台、存储平台;
¨         支持选择性复制:支持只复制指定的user、指定的Table、指定的行和列。节省存储空间,提高应用灵活性;
¨         支持1对多,多对1的复制结构:能够将多个数据库中的数据复制到一个数据库中;能够将一个数据库中的不同数据分发到不同的数据库中。
¨         节约带宽和网络资源:所需带宽一般在几Mbps,几十Mbps。
¨         性能高于ORACLE DG,DSG RealSync软件已经应用于广西移动的营帐系统的环境,数据容量达到2TB,每天产生的日志量最大能够处理到600GB/天
缺点:
¨         需要单独购买
¨         只支持异步复制,不支持同步方式。
适合对象:
¨         主要适用于几十GB的小型数据库的容灾使用。
 
 
 
优点:
¨         Free
¨         可实现同步复制模式
 
 
 
 
缺点:
¨         目标端数据不可用:目标端数据库在复制过程中处于RECOVER状态,不能被用来使用;
¨         操作系统必需同构:源和目标必需要求相同的操作系统和相同的数据库版本;
¨         只能全库复制:复制的对象是整个数据库
¨         不能实现数据整合和数据分发;
¨         性能低下,目前的应用案例多在几十GB的小型数据库上使用。

与磁盘阵列复制技术相比:

DSG RealSync
磁盘阵列复制技术
适合对象:
¨         适合从工作组级、企业级到数据中心级的复制需求。
¨         无论系统采用什么样的服务器平台、什么样的存储平台,只要是ORACLE系统之间的复制即可适用。
优点:
¨         目标端数据可用:目标端数据库在复制过程中出于可用状态,可用作数据查询、报表、数据抽取等任务分担;
¨         异构系统复制:源端系统和目标端系统可以采用异构的操作系统平台、存储平台;
¨         支持选择性复制:支持只复制指定的user、指定的Table、指定的行和列。节省存储空间,提高应用灵活性;
¨         支持1对多,多对1的复制结构:能够将多个数据库中的数据复制到一个数据库中;能够将一个数据库中的不同数据分发到不同的数据库中。
¨         节约带宽和网络资源:所需带宽一般在几Mbps,几十Mbps
缺点:
¨         只支持ORACLE数据库系统。
¨         只支持异步复制,不支持同步方式。
¨         只支持ORACLE系统中的DML复制和常用的DDL复制,对存储的变化不复制。
¨         占用主机的CPU资源;
适合对象:
¨         主要适用于数据中心级的海量数据复制。
¨         用户必需采用支持该功能的磁盘阵列型号,而这些阵列大都为高端阵列,投资昂贵。
 
优点:
¨         支持阵列上的所有数据类型复制。
¨         可支持同步方式复制
¨         不占用主机CPU资源
¨          
 
 
 
缺点:
¨         目标端数据不可用:目标端数据库在复制过程中不能被打开,造成大量投资浪费;
¨         必需同构:源和目标必需要求相同的磁盘阵列、相同的操作系统、相同的数据库版本;
¨         只能全库复制:复制的对象是整个数据库
¨         不能实现数据整合和数据分发;
¨         带宽高:要求独占的光纤网络,动辄需要上GB的带宽。

与存储卷复制技术相比:

DSG RealSync
存储卷复制技术
适合对象:
¨         适合从工作组级、企业级到数据中心级的复制需求。
¨         无论系统采用什么样的服务器平台、什么样的存储平台,只要是ORACLE系统之间的复制即可适用。
优点:
¨         目标端数据可用:目标端数据库在复制过程中出于可用状态,可用作数据查询、报表、数据抽取等任务分担;
¨         异构系统复制:源端系统和目标端系统可以采用异构的操作系统平台、存储平台;
¨         支持选择性复制:支持只复制指定的user、指定的Table、指定的行和列。节省存储空间,提高应用灵活性;
¨         支持1对多,多对1的复制结构:能够将多个数据库中的数据复制到一个数据库中;能够将一个数据库中的不同数据分发到不同的数据库中。
¨         节约带宽和网络资源:所需带宽一般在几Mbps,几十Mbps
缺点:
¨         只支持ORACLE数据库系统。
¨         只支持异步复制,不支持同步方式。
¨         只支持ORACLE系统中的DML复制和常用的DDL复制,对存储的变化不复制。
适合对象:
¨         主要适用于工作组级的数据复制。因为对CPU资源占用高
 
 
 
优点:
¨         支持存储卷上的所有数据类型复制。
¨         可支持同步方式复制
 
 
 
缺点:
¨         目标端数据不可用:目标端数据库在复制过程中不能被打开,造成大量投资浪费;
¨         操作系统必需同构:源和目标必需要求相同的操作系统和相同的数据库版本,但不要求相同的存储设备
¨         只能全库复制:复制的对象是整个数据库
¨         不能实现数据整合和数据分发;
¨         带宽高:传输数据量比DSG RealSync5倍以上。

与应用层技术相比:

DSG RealSync
应用层复制技术
适合对象:
¨         适合于构建在ORACLE系统上的所有应用系统和应用类型
优点:
¨         无需二次开发;
¨         标准的工业化软件,成熟度远远高于应用复制;
¨         专业厂商支持和维护;
¨         应用案例远多于应用层复制技术;
缺点:
¨         与应用的关系比较松散,无法完全按照应用需求定制
适合对象:
¨         只适合那些在应用中提供了该技术的应用,而非常少。
优点:
¨         与应用集成紧密,可按照应用的需求作调整。
¨         从理论上讲能够解决所有的应用需求
缺点:
¨         非标准化:不同应用软件的复制方式不同;
¨         开发和维护工作量大,任何应用的变动都可能导致复制技术的变动;
¨         应用不成熟、不普遍。
¨         无法实现大量应用案例之间的知识共享。

与同类Quest SharePlex技术相比:
1. 实时复制的性能优势,提高数据复制的实时性,降低系统数据丢失风险
在逻辑复制中,最为重要的部分就是要提高系统复制的性能,主要包括日志分析性能和数据装载性能。尤其是日志分析性能直接决定了地市产生的业务数据能否被及时复制到省中心,直接决定了数据丢失的风险。尤其是在业务量高峰期决定了复制软件是否能够保证数据准确和完整性。
DSG RealSync在日志分析速度上面是按照电信级业务系统的并发量设计:
• 系统满足电信企业中单个系统每天产生的40GB日志文件的分析。
• 在某证券行业对于预先堆积的700MB日志,只需要5分钟就能完成分析任务。
而在装载端,采用Direct Path Loading方式进行直接装载,其速度远远高于采用SQL语句的方式效率。如在一台IBM P170(1颗CPU,IBM最低端服务器)情况下,单进程每秒钟能够完成800个Insert操作+500个update操作的装载。
2. 提供内置的存量数据的批量一致性同步手段
对于逻辑复制软件而言,在许多情况下需要用到存量数据的批量一致性同步功能:
一是在首次数据同步:即在系统安装过程后,如何将各地市系统中的已有数据复制到省中心;
二是在复制过程中,若由于系统进行了重大的维护、调整,或者由于网络中断、业务需求或者一些意外情况下,都需要对系统进行重新同步。
在其他解决方案中,在进行数据首次同步过程中,大都采用的同步方案为使用Oracle的EXP/IMP工具,将源端数据库数据抽取出来,通过网络传输至目标端数据库进行加载。或者是借助第三方的备份软件工具,将源端的数据进行备份,再通过磁带运输至目的地,将磁带数据恢复到目标数据库,从而达到首次数据同步的目的。
因为目前对于批量数据的复制大部分采用EXP/IMP的方式实现。而该方式存在大量的问题:
(1) 性能低下:通过Export/Import方式,最大的问题在于性能很慢,对于一个几十GB的数据复制时间大约费时8-10小时以上。
(2) 完全需要手工干预:数据的导出(Export),传输和装载(Import)等过程都需要手工干预和执行。
(3) 业务必需停止:在执行export/imp过程中,业务必需中断。
(4) 易出错:尤其在Import过程中,由于表之间的关联性存在,往往出现由于违反参照完整性规则而导致装载中断,非常难于操作。
而DSG在数据的一致性同步方面有着非常好的解决方案,这是其它方案所不具备的。DSG的RealSync集成有数据的一致性同步工具,能够自动化的进行数据的首次同步和出现差异情况下进行一致性同步的工作,无需人工干预,维护工作量小,且大大提高了工作效率:
(1) 速度快:对于一个几十GB的数据复制时间大约费时几十分钟到1小时左右。
(2) 完全自动化:采用DSG RealSync只需要1条命令就完成系统的初始化工作,系统自动进行导出、传输和装载任务,完全无需人为干预,减少出错机会。
(3) 不中断业务:在DSG Realsync在进行首次数据装载时,无需停止源端业务,实现不停机的系统初始化;
3. 数据一致性检查的机制
在通过使用数据库逻辑层面的数据复制技术,往往需要进行两端数据一致性的校验,这是必要的手段。DSG在数据一致性校验的检查机制方面做的尤为突出,并且使得这一需求变得可行。在其它同类产品中,若需要实现数据一致性的校验,往往需要调出所要比对的两张数据表,然后通过(方式)进行比对。而这种比对方式往往耗时巨大,效率分外低下,甚至变得不可行。
而DSG RealSync不是通过主键索引来定位记录,不通过select接口来判断,而是通过rowid的对应关系来定位记录,省却了大量的从select接口查询记录的资源占用和时间消耗。能够从物理层实现数据一致性的比较和修复。
一致性比较是通过数据源的记录值、ROWID,目标端的记录值、ROWID,以及realsync所记录的ROWID映射关系来比较双方的记录是否一样,即使是对于那些没有主键的表也能进行比较。
4. 优秀的厂商服务支持
数据复制容灾系统在业务连续性中是非常关键的,这种系统的建设不是单纯的产品购买问题,而是涉及深入到应用系统逻辑的支持。对于数据复制系统上的后期支持,以及针对新业务的开发上都需要有厂商更大的支持。
但是Quest作为一家国外软件开发商,在国内没有快速需求响应机制,更谈不上对后期业务的跟踪支持和问题的解决。也就是用户在购买该产品后并不能得到很好的后期支持,甚至都无法办法满足系统的现有需求。
DSG作为立足国内,面向世界的软件开发商,在国内设有研发中心和技术服务中心,在国内建有完善的售后服务体系。可以针对应用要求提供客户化支持,为该项目未来发展提供不间断的后续支持,提高响应速度。并且在工程实施方面将由DSG公司直接负责,保证了系统建设成功率。
阅读(3395) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~