2008年(8065)
分类: 服务器与存储
2008-07-23 10:27:06
20年前,我们开始以计算为核心谈论PC浪潮。10年前,我们开始以网络为中心谈论网络浪潮。今天,我们开始谈论存储浪潮,并且已经过渡到以数据为中心了。
存储是数据的“家”。处理、传输、存储是信息技术最基本的三个概念,任何信息基础设施、设备都是这三者的组合。
历史学家发现:每当存储技术有一个划时代的发明,在这之后的300年内就会有一个大的社会进步和繁荣高峰。
存储的昨天
存储是信息跨越时间的传播。几千年前的岩画、古书,以及近代的照相技术、留声机技术、电影技术等的发明,极大丰富了我们的信息获取渠道。这些都是和存储技术的发明分不开的。从20世纪开始信息技术发生了历史性的转移,“万物皆可数”,这对人类历史将具有深刻的意义。
存储的今天
可以将当代信息技术的总轮廓归纳为以下三部曲。
第一步:把现实各种各样信息形式的现实域转化为数字域;第二步:在数字域中进行三种简单的操作,即处理、传输、存储;第三步:再把数字域转化为现实域。
存储技术特点
对于半导体存储(RAM、ROM、Flash)技术,其特点是存储速度快,但是容量小;而磁存储(硬盘、软盘、磁带)容量大,速度慢;光存储(CD、DVD、MO、PC、BD、全息)综合了两者的优点,容量大,速度快,但是还是达不到我们所希望的容量和速度。一种理想的存储技术正在探索之中,设计思想是由一种具有绝对优势的存储技术来统一现有技术,采用“固态RAM”,容量将像硬盘那样大,速度像内存那样快,掉电后信息不丢失。
各种存储系统组合
任何单一的存储器件和设备都无法满足目前网络对存储的需求,存储资源单元一定要组合起来,以提供大容量、高性能、低价格、高可用、高安全的存储系统为目的的存储资源(注:存储资源不是数据资源)组合。
最经典的组合是Cache和虚拟存储器(VM)的组合。Cache是指SRAM与DRAM的组合,VM是指DRAM与DISK的组合,它们看起来是又大又快又便宜的存储器,这是教科书中常提到的。
目前用得最多的是磁盘阵列,是多个硬盘的组合,特点是容量大、速度快,而且最好的特点是可用性增加,即使有硬盘坏了,信息仍可用。这里把通信中的纠错理论用到磁盘中来,利用奇偶校验技术恢复数据,保证了信息的安全。这一点很重要。
若把多个磁盘阵列通过网络连接起来,用存储虚拟化软件把它们作为大的存储池,这样就有了更大规模的存储资源,存储成为中心,虚拟存储池好比是水库,服务器好比是抽水器,网络就成为水管,为我们提供信息。
还有一种新的技术,就是大规模的集群存储,是大量机器内硬盘的组合,不同于前面所讲的存储系统。如Google的存储信息系统0.5s就可以把信息提取出来。它的实现是通过多个PC内部硬盘空间的组合,拥有899个机架,每架80台PC的规模,共79112台PC机,每台2个硬盘,就有158224个硬盘,6180TB容量。
对等存储(P2P)是把各用户的PC机当作存储系统,大量加盟的PC机和服务器中的存储器组合成的存储系统,提供高带宽的视频服务和其他共享服务。
其他组合还包括虚拟磁带库等技术。
各种组合的目的都是为了形成虚拟的大容量、高性能、低成本、高可靠、高安全的存储器。空间分布和性能相比,空间分布越小性能越高、越近性能越高;控制权与安全性相比,越集中控制安全性最高。不同的组合有不同的用途,如P2P存储很适合公共共享资源(电影、电视、音乐),对关键的、私有的、保密的信息不适用;反之,EMC、IBM、HDS、HP等的大型阵列可提供高可靠、高性能、集中控制,用来存储一般人接触不到的关键数据。
存储技术的发展
硬件发展存在6个规律,分别两、两关于处理、传输和存储。
(1)Moore定律:微处理器内晶体管数每18个月翻一翻。
(2)Bell定律:如果保持计算能力不变,微处理器的价格每18个月减少一半。
(3)Gilder定律:未来25年(1996年与预言)里,主干网的带宽将每6个月增加1倍。
(4)Metcalfe定律:网络价值同网络用户数的平方成正比。
(5)半导体存储器发展规律:DRAM的密度每年增加60%,每3年翻4倍。
(6)硬盘存储技术发展规律:硬盘的密度每年增加约1倍。
存储本身又有一个新摩尔定律(1998年由图灵奖获得者Jim Gray提出):从现在起,每18个月,新增的存储量等于有史以来存储量之和。数据量信息如此爆炸性增长,对存储就有了非常大的需求的刺激。
存储技术从原理层、器件层、设备层到系统层都有了很大进步。硬盘是发展最快的存储介质。是最重要的大容量存储设备,20世纪50年代由IBM发明以来密度增加了100万倍,到目前为止还没有找到能与之竞争的对手。最近硬盘的产品密度超过每平方英寸100Gb,实验室密度已超过每平方英寸1Tb;主要采用了超低飞行磁头10nm、加钌超稳定介质、PRML读通道、垂直磁记录(硬盘将在2006年全面转为垂直磁记录)等技术,再下一代还有光磁混合纪录等技术。硬盘存储还会进一步提高。
例如微硬盘,可以应用在移动计算、数码相机、数码摄像机和智能手机等领域。
光存储技术也有很大的进展。目前主要有CD-ROM、DVD-ROM、DVD机 DVD-RW(DVR)等。最近要产品化的技术在向高密度进军,已有蓝光DVD上市,每片可达
前面提到的理想的存储器固态RAM(Dream Memory),理论上可以达到每平方英寸400T,实现掉电不丢失信息,既可以代替硬盘也可以代替内存,和CPU结合在一起,将使计算机系统在一个单芯片上得以实现。目前在技术上已经实现了,只是存储容量还比较低。
存储系统结构的发展思路
从处理的发展思路来看,是从单处理器-多处理器-多计算机-网格的路线进行的。对于存储也类似,遵从硬盘-阵列-存储网-数据网格的路线发展,由软件和硬件共同实现,系统结构必须和软件相配合,如存储虚拟化软件(单一逻辑映像)、存储资源管理软件(容量、级别、性能)、存储备份、异地容灾、数据迁移软件、数据生命周期管理软件等。
对解决可用性也有了新的思路,如借鉴生物学心脏工作的原理,提出具有耗散结构的存储系统。包括美国和我国在内正在研究这样一种系统,系统中有很多硬盘,具有监测硬盘是否有坏的可能性的功能,一旦监测到硬盘可能会坏,则立刻转移数据,即在数据丢失之前就已经备份,没有数据恢复时间,系统总是保持新鲜的不停机的状态,可用性很强。
随着异构的存储系统规模越来越大,系统越来越难以管理,人为错误越来越多,管理成本越来越高。现在产生一种新的技术叫对象技术,旨在把管理下移,令存储设备包含更多的智能,使得管理大为简化。华中科技大学提出的进化存储系统,就使得存储在物理上进化,数据分布得到进化,解决管理复杂性问题。
另外,也要考虑数据生命周期问题。一切都存下来不是一个好的办法。无限扩大容量,成本无谓增加。管理和保存无用的数据是巨大的浪费,无用信息干扰当前信息存取的性能。
解决途径是向大脑学习遗忘机制,重要的信息深层记忆,不重要的浅层记忆,无用的信息忘掉。
存储的明天
存储需求量还是在急剧增加。目前的视频通信还只能用在小窗口中,如果要是大窗口通信,就会有很大的数据量,现在还没有实现。
麻省理工学院实验室已经成功实现了立体的影像,可以通过全息投影技术,在空间透过玻璃看到立体的影像(图3)。若用超级计算机数据压缩技术计算以后,每秒钟动起来,就可以看到立体的栩栩如生的影像。若将此技术应用在宽带通信上,则通信就会发生革命性的变化,以后就不只是听声音开一个小窗口,而是实现一个活生生的人在你面前和你通话。
You Life bit项目是微软正在开展的非常有意思项目。通过将存储和人的视觉神经连接起来,利用人自己的眼睛在硬盘中把一生中的任何细节的图像存下来。这是个庞大的工程。
信息技术改变了我们的生活,还将不断使社会发生深刻变化。