阿里开源otter 分布式数据库同步系统

　　

阿里巴巴一向热衷于开源。从风风火火的去IOE运动，到阿里在GitHub中托管的60个开源项目，都可以看到他们开源的决心。本周一(8月19日)，阿里巴巴宣布开源分布式数据库同步系统otter。负责otter项目的阿里巴巴技术专家七锋(@agapple0002)介绍，otter是异地双A机房的数据库同步系统，解决长距离机房同步、双A的数据一致性问题。

otter的诞生是由异地数据库同步需求决定的。阿里巴巴B2B业务的卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，otter由此而来。

otter的英文释义是水獭、数据搬运工，定位为基于数据库增量日志解析，准实时同步到本机房或异地机房的MySQL/Oracle数据库. 一个分布式数据库同步系统。otter第一版本可以追溯到04-05年，此次外部开源的版本为第四版，开发时间从2011年7月一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otter4。

目前，阿里巴巴的B2B业务的同步规模达到：1.同步数据量6亿;文件同步1.5TB(2000w张图片);涉及200+个数据库实例之间的同步;80+台机器的集群规模。

工作原理

1. 基于Canal开源产品，获取数据库增量日志数据;

2. 典型管理系统架构，manager(web管理)+node(工作节点);

a. manager运行时推送同步配置到node节点

b. node节点将同步状态反馈到manager上

3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作。

　　适用场景

1. 异构库同步：

a.MySQL ->MySQL/Oracle. (目前开源版本只支持MySQL增量，目标库可以是MySQL或者Oracle，取决于canal的功能)

2. 单机房同步 (数据库之间RTT 200ms，亮点)

a. 机房容灾

4. 双向同步

a. 避免回环算法 (通用的解决方案，支持大部分关系型数据库)

b. 数据一致性算法 (保证双A机房模式下，数据保证最终一致性，亮点)

5. 文件同步

a. 站点镜像 (进行数据复制的同时，复制关联的图片，比如复制产品数据，同时复制产品图片).

网友观点

@锁儿V：类似的商业软件，比如东方通的TongLINK/Q，Oracle的Golden Gate，动辄百万，而这儿这个却开源了，并且是经过在线大数据测试过的。可惜仅支持MySQL/Oracle,秀目录，网站分类目录，目录网站，谁有能耐稍微扩展一下，定是企业级市场的One big deal。

@jametong: 这个项目是最终一致的, 并不是实时一致的, 设计时是尽可能的保证单向Rep到另一端的数据的事务一致性, 但是双向的部分, 会有部分牺牲. 功能上与LinkedIn的Databus比较接近。

@庄陌铭：这个取名数据库同步系统个人感觉有些大了，初步看了下，更多地是一种远程数据ETL，蛮适合企业用于做分布式节点的数据汇总，不过依赖还复杂了点(这种基础件干嘛还用webx)，另外，数据传输的审计对账好像没看到(也许只是粗瞄没注意到)。