全部博文(2759)
发布时间:2014-04-18 08:31:23
第一层次:普通管理员 1、特征:能理解分区的概念,知道安装linux系统和常见的数据库、桌面管理器、应用软件等,能做一些基本的配置(如网络、打印机、调制解调器等),参照手边资料依葫画瓢式的安装和配置常见服务(如NFS、HTTP、FTP、TELNET、 SSH、LDAP、NIS、邮件服务、SAMBA、打印服务等),能解决一些.........【阅读全文】
发布时间:2014-04-18 08:31:11
TFS发展至今,集群部署总容量已超过50PB,机器数量约2700台。TFS在阿里内部主流部署方式是主集群内数据块2个副本,每个主集群配置两个备集群,分别在同城和异地机房,实际上每份数据6个副本,存储成本非常高,为了降低TFS存储成本,我们将Erasre code引入到TFS系统,本文将详细介绍TFS应用Erasure code的技术方案。异.........【阅读全文】
发布时间:2014-04-18 08:30:56
一、amazon ec2 环境 申请4台VPC(virtual private cloud),在一个security group下,ubuntu 12.04.4。 1台m3.large,cpu 2.5GHz双核,7G内存,30G分区在/mnt 下,这台机器用来当NameNode。 3台m1.large,cpu 1.8GHz双核,7G内存,400G分区在/mnt 下,这3台机器用来当DataNode。二、编译打包hadoo.........【阅读全文】
发布时间:2014-04-18 08:30:36
0. 机器结构1台NameNode,3台DataNode1.3.0.241 cloud11.3.10.229 cloud21.3.10.231 cloud31.3.10.230 cloud41.Hadoopcore-site.xml<configuration> <property> <name>fs.defaultFS</name> <val.........【阅读全文】
发布时间:2014-04-18 08:30:22
数据去重,简单地说就是重复数据删除。从某种意义上说也是一种数据压缩技术。数据去重的优势 节约磁盘空间:对于村出在同一个磁盘上的同一个文件或者是不同的文件之间的重复数据删除可以大大减少磁盘的使用量。节约网络带宽:去重之后的数据在网络上传输可以大大降低网络资源的占用。很多网络同步工具.........【阅读全文】