TFS多机房容灾策略_zyd_cu-ChinaUnix博客

YunNotesydzhang.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

zyd_cu

博客访问： 4067035
博文数量： 251
博客积分： 11197
博客等级：上将
技术积分： 6862
用户组：普通用户
注册时间： 2008-12-05 14:41

个人简介

@HUST张友东 work@taobao zyd_com@126.com

文章分类

全部博文（251）

互联网（8）
课程笔记（7）
技术交流（5）
KV存储（8）
搜索引擎（5）
系统管理（14）
网络编程（22）
程序设计（14）
文件系统（15）
C/C++（18）
Linux内核（29）
Linux编程（27）
FUSE专辑（10）
分布式系统（19）
工作杂记（17）
TFS开发（33）
未分配的博文（0）

文章存档

2014年（10）

2013年（20）

2012年（22）

2011年（74）

2010年（98）

2009年（27）

我的朋友

最近访客

推荐博文

TFS多机房容灾策略

发布时间：2014-09-03 18:32:33

TFS集群支持异地机房容灾，一个逻辑集群包含分布在多个机房的物理集群，其中一个是主集群，其他的是备份集群。客户端写文件时，都会写到主集群，主集群的Dataserver(DS)异步将数据同步到多个备集群；客户端在读取数据时，会选择离自己最近的物理集群读取数据，如果读不到数据，就重试逻辑集群里的其他物理集群。.........【阅读全文】

阅读(17108) | 评论(4) | 转发(5)

TFS ErasureCode线上问题

发布时间：2014-07-01 21:18:06

TFS支持ErasureCode的版本上线数月，参与编码的数据量也不断在增加，因为规模效应，最近也暴露除了不少问题。索引预留空间问题TFS每个Dataserver(DS)进程管理一块磁盘，DS上线前，需要对磁盘进行format，format的主要工作是创建一批固定大小的文件出来，这些文件对应TFS里的block（通常64M)，block里存.........【阅读全文】

阅读(12173) | 评论(4) | 转发(0)

HDFS设计思想

发布时间：2014-05-27 10:59:22

作者：zyd_com@126.com博客：ydzhang.blog.chinaunix.net | blog.yunnotes.net微博：http://weibo.com/zhangyoudong/硬件故障是常态HDFS的目标是在有机器故障时仍能保证数据可靠，并自动进行故障恢复。流式数据访问HDFS主要为批处理应用设计，而非交互式应用，看重数据访问的吞吐量而非访问延迟。海量大文.........【阅读全文】

阅读(15501) | 评论(0) | 转发(5)

TFS运维平台改造

发布时间：2014-05-13 10:22:57

TFS负责运维的同学在工作过程中，积累了各种运维脚本，全部使用shell编写，用于完成TFS机器的上下线、坏盘下线、集群同步、迁移等功能，这些脚本构成现在的运维平台；但由于运维同学的不断更替，新同学在使用前辈们留下来的运维脚本过程中经常踩坑，严重影响运维工作效率。以下列举了TFS运维过程中，出过的一些问题：.........【阅读全文】

阅读(13765) | 评论(2) | 转发(1)

TFS Erasure code实现方案

发布时间：2014-04-16 19:09:20

TFS发展至今，集群部署总容量已超过50PB，机器数量约2700台。TFS在阿里内部主流部署方式是主集群内数据块2个副本，每个主集群配置两个备集群，分别在同城和异地机房，实际上每份数据6个副本，存储成本非常高，为了降低TFS存储成本，我们将Erasre code引入到TFS系统，本文将详细介绍TFS应用Erasure code的技术方案。异.........【阅读全文】

阅读(16357) | 评论(0) | 转发(3)