Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1898949
  • 博文数量: 211
  • 博客积分: 464
  • 博客等级: 下士
  • 技术积分: 3794
  • 用 户 组: 普通用户
  • 注册时间: 2011-01-24 18:25
个人简介

阿弥陀佛

文章分类

全部博文(211)

文章存档

2020年(2)

2019年(3)

2018年(5)

2017年(6)

2016年(10)

2015年(9)

2014年(73)

2013年(90)

2012年(13)

分类: 服务器与存储

2014-12-20 11:41:51

看了一下 The rsync algorithm这个算法,知道了远程同步两个文件的原理。
问题:

A电脑上有文件a,B电脑上有文件b,当b文件被修改的时候,如何快速的将数据同步到a文件中。
核心步骤分三步:
1. 计算分片哈希
2. 比对两个文件的分片哈希
3. 通过数据压缩算法传修改过的数据。

将数据分成块,然后分别计算出一个32bit的checksum和一个复杂的128bit的MD4,然后将所有的checksum发送过去,32bit的checksum的计算方法相对简单,因此可以做一个粗粒度的数据过滤。。如果checksum相同,比对MD4,如果不同,则直接将相应的数据块发送过去。

阅读(3306) | 评论(0) | 转发(0) |
0

上一篇:spark学习笔记

下一篇:软件定义存储

给主人留下些什么吧!~~