分布式文件系统FastDFS设计原理_zyd

YunNotesydzhang.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

zyd_cu

博客访问： 4067068
博文数量： 251
博客积分： 11197
博客等级：上将
技术积分： 6862
用户组：普通用户
注册时间： 2008-12-05 14:41

个人简介

@HUST张友东 work@taobao zyd_com@126.com

文章分类

全部博文（251）

互联网（8）
课程笔记（7）
技术交流（5）
KV存储（8）
搜索引擎（5）
系统管理（14）
网络编程（22）
程序设计（14）
文件系统（15）
C/C++（18）
Linux内核（29）
Linux编程（27）
FUSE专辑（10）
分布式系统（19）
工作杂记（17）
TFS开发（33）
未分配的博文（0）

文章存档

2014年（10）

2013年（20）

2012年（22）

2011年（74）

2010年（98）

2009年（27）

我的朋友

最近访客

推荐博文

分布式文件系统FastDFS设计原理

发布时间：2013-12-30 12:50:47

FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size ......【阅读全文】

阅读(52782) | 评论(0) | 转发(15)

小文件合并存储问题

发布时间：2013-12-23 15:14:12

LOSF(lots of small files）问题是很多互联网企业都会遇到的, 文本、图片、音乐是典型的小文件应用场景，比如58同城、淘宝网、虾米网、汽车之家等网站都是有海量小文件存储需求的。小文件存储问题集中表现在如下几个方面：1. 小文件太多，单机无法存储 2. 小文件的存取性能 3. 小文件的高效备份与恢复对于问题1.........【阅读全文】

阅读(16321) | 评论(4) | 转发(2)

Linux盘符漂移问题

发布时间：2013-11-25 19:43:24

Linux管理多块磁盘时（以sata盘为例），会按磁盘加载的顺序依次给磁盘命名为/dev/sda, /dev/sdb... 这种命名规则就会导致，一块磁盘在发生热插拔或系统重启后，盘符可能发生变化，会影响到一些依赖磁盘盘符工作的应用程序，比如fstab里按盘符名来挂载。要解决磁盘盘符漂移问题，一劳永逸的方法就是将磁盘槽.........【阅读全文】

阅读(41101) | 评论(8) | 转发(6)

TFS任务队列模型

发布时间：2013-11-07 22:56:09

TFS系统里主要包含复制、迁移、压缩、删除等四种后台任务，主要由nameserver（NS)负责控制。复制任务：当NS检测到block副本数不足时，就会产生复制任务，选择block某个副本所在的DS作为复制源，选择一个机架安全的DS作为复制目标，NS将任务信息发给源DS，源DS接受到任务后将block的数据复制到目标DS，数.........【阅读全文】

阅读(5232) | 评论(0) | 转发(2)

TFS新版本线上Beta测试情况

发布时间：2013-10-08 15:15:59

TFS新版本完成开发、测试人员能做的基本测试工作后，前段时间已经上线跑beta测试了，至今已运行近三个月。分布式系统的很多问题在上线前由于规模限制，是很难在功能测试、系统测试阶段发现的，这些问题只有当节点数达到一定规模，事件序列足够随机的时候才能暴露出来，在线上beta测试的这段时间里，由于规模效应暴露出了.........【阅读全文】

阅读(3340) | 评论(0) | 转发(0)