全部博文(2759)
发布时间:2014-04-18 08:33:39
TFS新版本(tfs-2.6)的开发主要因为要将erasure code应用到TFS中,以节省存储成本。erasure code的引入,需要TFS在数据存储结构上做改变,这对于存储系统来说是非常大的改变,借着这个机会,也对TFS做了很多的优化工作,本文主要介绍2.6.0版本TFS的一些新特性。block id升级至64位TFS采用每个数据块(block)由一个.........【阅读全文】
发布时间:2014-04-18 08:31:23
第一层次:普通管理员 1、特征:能理解分区的概念,知道安装linux系统和常见的数据库、桌面管理器、应用软件等,能做一些基本的配置(如网络、打印机、调制解调器等),参照手边资料依葫画瓢式的安装和配置常见服务(如NFS、HTTP、FTP、TELNET、 SSH、LDAP、NIS、邮件服务、SAMBA、打印服务等),能解决一些.........【阅读全文】
发布时间:2014-04-18 08:31:11
TFS发展至今,集群部署总容量已超过50PB,机器数量约2700台。TFS在阿里内部主流部署方式是主集群内数据块2个副本,每个主集群配置两个备集群,分别在同城和异地机房,实际上每份数据6个副本,存储成本非常高,为了降低TFS存储成本,我们将Erasre code引入到TFS系统,本文将详细介绍TFS应用Erasure code的技术方案。异.........【阅读全文】
发布时间:2014-04-18 08:30:56
一、amazon ec2 环境 申请4台VPC(virtual private cloud),在一个security group下,ubuntu 12.04.4。 1台m3.large,cpu 2.5GHz双核,7G内存,30G分区在/mnt 下,这台机器用来当NameNode。 3台m1.large,cpu 1.8GHz双核,7G内存,400G分区在/mnt 下,这3台机器用来当DataNode。二、编译打包hadoo.........【阅读全文】
发布时间:2014-04-18 08:30:36
0. 机器结构1台NameNode,3台DataNode1.3.0.241 cloud11.3.10.229 cloud21.3.10.231 cloud31.3.10.230 cloud41.Hadoopcore-site.xml<configuration> <property> <name>fs.defaultFS</name> <val.........【阅读全文】