Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1898912
  • 博文数量: 211
  • 博客积分: 464
  • 博客等级: 下士
  • 技术积分: 3794
  • 用 户 组: 普通用户
  • 注册时间: 2011-01-24 18:25
个人简介

阿弥陀佛

文章分类

全部博文(211)

文章存档

2020年(2)

2019年(3)

2018年(5)

2017年(6)

2016年(10)

2015年(9)

2014年(73)

2013年(90)

2012年(13)

分类: 架构设计与优化

2013-12-10 13:41:22

360的云盘做活动,每个人可以存储36T以上的存储空间。360的用户数以亿计。可以想象360的服务器的存储空间不会能够支持那么大的存储空间。原因是因为好多文件是重复的,比如音频,视频。尤其用户存储的大文件,一般都是视频,而这些视频很少修改,只要对比该文件的指纹信息即可,如果服务器中有该文件,则只存储该文件的元数据即可。

然后我打开一个可以秒传的文件(盗梦空间电影),改了文件的一个数字,然后保存,再上传这个视频的时候, 发现已经无法秒传了。说明他的去重粒度为文件级别的。如果云盘可以进行块粒度的去重,那么可以更好的提高服务器的存储利用率。但是构建块级的去重技术非常困难,加大了服务器的计算负担。衡量一下开销,并没有必要进行块级去重。
原因有两点:
1.小文件不必去重,因为文档类的文件相对较小,直接上传即可。
2.大文件如视频,不会修改,块级去重也没有意义。
阅读(6577) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~