YunNotes.netydzhang.blog.chinaunix.net

关注互联网、分布式存储

  • 博客访问: 2811398
  • 博文数量: 272
  • 博客积分: 11197
  • 博客等级: 上将
  • 技术积分: 6788
  • 用 户 组: 普通用户
  • 注册时间: 2008-12-05 14:41
  • 认证徽章:
个人简介

@HUST张友东 work@taobao zyd_com@126.com

文章分类

全部博文(272)

文章存档

2014年(10)

2013年(27)

2012年(26)

2011年(77)

2010年(102)

2009年(30)

微信关注

IT168企业级官微



微信号:IT168qiye



系统架构师大会



微信号:SACC2013

订阅
热词专题

发布时间:2014-09-03 18:32:33

TFS集群支持异地机房容灾,一个逻辑集群包含分布在多个机房的物理集群,其中一个是主集群,其他的是备份集群。客户端写文件时,都会写到主集群,主集群的Dataserver(DS)异步将数据同步到多个备集群;客户端在读取数据时,会选择离自己最近的物理集群读取数据,如果读不到数据,就重试逻辑集群里的其他物理集群。.........【阅读全文】

阅读(11288) | 评论(4) | 转发(5)

发布时间:2014-07-01 21:18:06

TFS支持ErasureCode的版本上线数月,参与编码的数据量也不断在增加,因为规模效应,最近也暴露除了不少问题。索引预留空间问题TFS每个Dataserver(DS)进程管理一块磁盘,DS上线前,需要对磁盘进行format,format的主要工作是创建一批固定大小的文件出来,这些文件对应TFS里的block(通常64M),block里存.........【阅读全文】

阅读(8311) | 评论(4) | 转发(0)

发布时间:2014-05-27 10:59:22

作者:zyd_com@126.com博客:ydzhang.blog.chinaunix.net | blog.yunnotes.net微博:http://weibo.com/zhangyoudong/硬件故障是常态HDFS的目标是在有机器故障时仍能保证数据可靠,并自动进行故障恢复。流式数据访问HDFS主要为批处理应用设计,而非交互式应用,看重数据访问的吞吐量而非访问延迟。海量大文.........【阅读全文】

阅读(10826) | 评论(0) | 转发(5)

发布时间:2014-05-13 10:22:57

TFS负责运维的同学在工作过程中,积累了各种运维脚本,全部使用shell编写,用于完成TFS机器的上下线、坏盘下线、集群同步、迁移等功能,这些脚本构成现在的运维平台;但由于运维同学的不断更替,新同学在使用前辈们留下来的运维脚本过程中经常踩坑,严重影响运维工作效率。以下列举了TFS运维过程中,出过的一些问题:.........【阅读全文】

阅读(9783) | 评论(2) | 转发(1)

发布时间:2014-04-16 19:09:20

TFS发展至今,集群部署总容量已超过50PB,机器数量约2700台。TFS在阿里内部主流部署方式是主集群内数据块2个副本,每个主集群配置两个备集群,分别在同城和异地机房,实际上每份数据6个副本,存储成本非常高,为了降低TFS存储成本,我们将Erasre code引入到TFS系统,本文将详细介绍TFS应用Erasure code的技术方案。异.........【阅读全文】

阅读(11419) | 评论(0) | 转发(3)
给主人留下些什么吧!~~

zhoushide2016-04-12 01:31

东哥,你好,请问如果想研究下ext4,除了看源代码,有没有这方面的资料介绍,谢谢

回复  |  举报

whm03222014-06-18 16:19

学习了,如果能有nginx-tfs的相关文件就更好了

回复  |  举报

lingshaohusoft2013-09-09 17:26

对学习TFS帮助很大~~辛苦了~~~不过我觉得最好能有更多细节,毕竟TFS的资料挺少的

回复  |  举报

电影vs程序员2013-08-22 18:03

内容很丰富

回复  |  举报

zyd_cu2013-06-06 17:52

xdsnet:内容很丰富。
提一个小的建议:有空的话校对一下内容,错别字比较多哦,有些错别字可能很影响内容的正确表达。

 好的,谢谢你的建议

回复  |  举报
留言热议
请登录后留言。

登录 注册