Chinaunix首页 | 论坛 | 博客
  • 博客访问: 6318437
  • 博文数量: 2759
  • 博客积分: 1021
  • 博客等级: 中士
  • 技术积分: 4091
  • 用 户 组: 普通用户
  • 注册时间: 2012-03-11 14:14
文章分类

全部博文(2759)

文章存档

2019年(1)

2017年(84)

2016年(196)

2015年(204)

2014年(636)

2013年(1176)

2012年(463)

发布时间:2014-04-18 08:33:39

TFS新版本(tfs-2.6)的开发主要因为要将erasure code应用到TFS中,以节省存储成本。erasure code的引入,需要TFS在数据存储结构上做改变,这对于存储系统来说是非常大的改变,借着这个机会,也对TFS做了很多的优化工作,本文主要介绍2.6.0版本TFS的一些新特性。block id升级至64位TFS采用每个数据块(block)由一个.........【阅读全文】

阅读(618) | 评论(0) | 转发(0)

发布时间:2014-04-18 08:31:23

第一层次:普通管理员    1、特征:能理解分区的概念,知道安装linux系统和常见的数据库、桌面管理器、应用软件等,能做一些基本的配置(如网络、打印机、调制解调器等),参照手边资料依葫画瓢式的安装和配置常见服务(如NFS、HTTP、FTP、TELNET、 SSH、LDAP、NIS、邮件服务、SAMBA、打印服务等),能解决一些.........【阅读全文】

阅读(638) | 评论(0) | 转发(0)

发布时间:2014-04-18 08:31:11

TFS发展至今,集群部署总容量已超过50PB,机器数量约2700台。TFS在阿里内部主流部署方式是主集群内数据块2个副本,每个主集群配置两个备集群,分别在同城和异地机房,实际上每份数据6个副本,存储成本非常高,为了降低TFS存储成本,我们将Erasre code引入到TFS系统,本文将详细介绍TFS应用Erasure code的技术方案。异.........【阅读全文】

阅读(684) | 评论(0) | 转发(0)

发布时间:2014-04-18 08:30:56

一、amazon ec2 环境 申请4台VPC(virtual private cloud),在一个security group下,ubuntu 12.04.4。 1台m3.large,cpu 2.5GHz双核,7G内存,30G分区在/mnt 下,这台机器用来当NameNode。 3台m1.large,cpu 1.8GHz双核,7G内存,400G分区在/mnt 下,这3台机器用来当DataNode。二、编译打包hadoo.........【阅读全文】

阅读(979) | 评论(0) | 转发(0)

发布时间:2014-04-18 08:30:36

0. 机器结构1台NameNode,3台DataNode1.3.0.241 cloud11.3.10.229 cloud21.3.10.231 cloud31.3.10.230 cloud41.Hadoopcore-site.xml<configuration> <property>   <name>fs.defaultFS</name>   <val.........【阅读全文】

阅读(1262) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册