Chinaunix首页 | 论坛 | 博客
  • 博客访问: 6268976
  • 博文数量: 2759
  • 博客积分: 1021
  • 博客等级: 中士
  • 技术积分: 4091
  • 用 户 组: 普通用户
  • 注册时间: 2012-03-11 14:14
文章分类

全部博文(2759)

文章存档

2019年(1)

2017年(84)

2016年(196)

2015年(204)

2014年(636)

2013年(1176)

2012年(463)

发布时间:2014-04-18 08:33:39

TFS新版本(tfs-2.6)的开发主要因为要将erasure code应用到TFS中,以节省存储成本。erasure code的引入,需要TFS在数据存储结构上做改变,这对于存储系统来说是非常大的改变,借着这个机会,也对TFS做了很多的优化工作,本文主要介绍2.6.0版本TFS的一些新特性。block id升级至64位TFS采用每个数据块(block)由一个.........【阅读全文】

阅读(614) | 评论(0) | 转发(0)

发布时间:2014-04-18 08:31:11

TFS发展至今,集群部署总容量已超过50PB,机器数量约2700台。TFS在阿里内部主流部署方式是主集群内数据块2个副本,每个主集群配置两个备集群,分别在同城和异地机房,实际上每份数据6个副本,存储成本非常高,为了降低TFS存储成本,我们将Erasre code引入到TFS系统,本文将详细介绍TFS应用Erasure code的技术方案。异.........【阅读全文】

阅读(651) | 评论(0) | 转发(0)

发布时间:2014-04-18 08:30:56

一、amazon ec2 环境 申请4台VPC(virtual private cloud),在一个security group下,ubuntu 12.04.4。 1台m3.large,cpu 2.5GHz双核,7G内存,30G分区在/mnt 下,这台机器用来当NameNode。 3台m1.large,cpu 1.8GHz双核,7G内存,400G分区在/mnt 下,这3台机器用来当DataNode。二、编译打包hadoo.........【阅读全文】

阅读(958) | 评论(0) | 转发(0)

发布时间:2014-04-18 08:30:36

0. 机器结构1台NameNode,3台DataNode1.3.0.241 cloud11.3.10.229 cloud21.3.10.231 cloud31.3.10.230 cloud41.Hadoopcore-site.xml<configuration> <property>   <name>fs.defaultFS</name>   <val.........【阅读全文】

阅读(1258) | 评论(0) | 转发(0)

发布时间:2014-03-31 09:08:20

Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。MapReduce 程序的流程及设计思路:    首 先用户程序 (JobC.........【阅读全文】

阅读(1105) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册