CAS技术及产品介绍

CAS产生的背景
内容寻址存储（Content Addressed Storage，CAS）是由美国EMC公司2002年4月率先提出的针对固定内容存储需求的先进的网络存储技术。CAS具有面向对象存储特征，基于磁记录技术，它按照所存储数据内容的数字指纹寻址，具有良好的可搜索性、安全性、可靠性和扩展性。EMC同时推出了其CAS产品Centera，并成为CAS存储技术的代表性产品。之后，一些存储公司相继推出了相关的产品，使CAS技术备受关注。
在整个IT领域，网络存储技术无论从其存储介质、传输协议还是应用领域上讲，都一直扮演着非常活跃的角色。在网络存储技术的快速发展过程中，有两个问题越来越引起企业界和学术界的普遍关注：一是人类社会信息数量级的指数增长对整个计算机技术提出了严峻的挑战；二是以磁存储为中心的存储技术在包括网络存储在内的整个存储领域中越来越起着举足轻重的作用。

人类已经步入一个数字化的信息时代，信息在社会生活的各个领域中正处于前所未有的关键地位。据统计，现在全人类每年要产生10亿～20亿GB的新信息，这一信息数量相当于全球每人每年要产生250MB的信息。另据美国加州大学Berkeley分校及EMC公司所做的调查显示，在全社会每年产生的所有信息中，有超过75％的信息是属于固定内容（Fixed Content）的数据，也就是说，这些信息一旦生成就不再变更，类似于光存储中的WORM（Write Once Read Many）盘片，一次写入，多次读取。这类固定内容的信息存储主要包括法律条文、标准和规范的电子文档以及数字化医学信息、电子邮件及附件、支票图像、卫星图像、音频/视频信息等。
四种存储介质的信息数量对比
纸质印刷、胶片、光盘和磁盘是信息存储的四种主要存储介质。在全人类每年产生的新信息中，磁存储无疑是这些信息最大的存储介质，也是发展最为迅速的存储技术，而所有印刷文档仅仅占每年新产生的总信息数量的0.003%！采用这四种存储介质的信息数量的粗略对比如表1所示。不仅如此，磁存储的成本也在急剧降低。据预计，磁存储的成本将由2000年的大约10美元/GB跌至2005年的1美元/GB。
与此同时，ATA磁盘存储和磁存储技术的深入发展，大大推动了网络存储技术的进步和应用。去年，Serial ATA Ⅱ规范已经得到Serial ATA Working Group（现已更名为Serial ATA International Organization，SATA-IO）的认可，估计速度高达3Gbps Serial ATA Ⅱ的硬盘近期就会推向市场。新型高速磁盘的推出对网络存储技术所产生的强有力的推动力是显而易见的。
由此可以看出，固定内容信息数量的急剧增长与磁存储技术的不断发展是联系在一起的，这意味着新的网络存储技术空间出现——尤其是当传统网络存储技术无法适应大量的固定内容存储时。虽然采用块或文件访问方式的传统网络存储系统在一定程度上可以满足几十、几百TB的网络存储应用需求，但这类存储系统的可扩展性、管理效率以及扩展整个存储系统后的性价比远远不能满足动辄几百TB（Terabyte，1TB＝1000GB）乃至PB（Petabyte,1PB=1000TB）的大规模面向固定内容的网络存储需求。不仅如此，对数据的安全访问和长久保存要求苛刻的新存储系统亦对传统网络存储系统解决方案提出了严峻的挑战。同时，据Enterprise Storage Group评估，在未来几年内，任意时间和任意地点都能保证所需数据的安全、可用且符合有关标准和规范的新型网络存储系统解决方案、网络存储系统产品以及网络存储系统服务，具有潜在的60亿美元的市场空间，这无疑会激起网络存储服务提供商探索先进网络存储技术的浓厚兴趣。
在这种背景下，美国EMC公司在2002年4月率先提出了一种叫做内容寻址存储（Content Addressed Storage，CAS）的新型网络存储技术，以实现对面向固定内容（Fixed Content）的新型网络存储系统的安全、高效、便捷的访问、管理和扩展。
企业存储集团分析家Peter Gerr曾说道，CAS技术出现的非常及时，关于固定内容的存储需求已经很高，并将不断增长，而传统的文档存储解决方案的局限性也在不断暴露，并同时发布了其CAS产品。

CAS的基本架构
所谓固定内容（Fixed Content），简言之就是具有长时间保存价值的不可更改的数据对象。在人类社会的信息化过程中，固定内容的信息数量正急剧增长，同时它们所需保存的时间也比以前大为延长。
固定内容的数据对象可以分为以下三类：
（1）电子文档，主要包括电子图书、合同契约、电子邮件及附件，以及诸如工程绘图的CAD/CAM等。
（2）数字记录，主要包括医学检查图像、图片、地震/油气藏/天文/卫星地球物理图像信息等。
（3）多媒体，主要包括音频、视频等。

如何对如此庞大的固定内容信息进行高效的存储、管理、检索，这无疑对网络存储方案服务商提出了全新的更高的要求，主要包括：

存取性 要保证在任何时间、任何地点都能对这些固定内容信息快速、便捷地访问。
可靠性和完整性 要确保对信息内容不得有任何修改，且所存取的任何固定内容信息都必须符合一定的规范或标准。
持久性和可扩展性 能够持续地对整个固定内容存储系统数据进行访问和可用，整个存储系统具有较强的可扩展能力，可以非常容易地升级至PB级，必须保证避免因可能的设备更新而产生的数据遗失问题。
可管理性和可维护性 必须满足商业应用的连续性和灾难恢复需求，需要最小化的存储管理，自动化程度尽可能地高。
位置无关性 对任何固定内容信息的访问必须与存储数据的物理地址/逻辑地址无关，而仅与数据内容有关。
RAS特性 即整个固定内容存储系统的设计和使用自始至终都必须保证可靠性、可用性和可服务性（Reliability-Availability-Serviceability，RAS）。
由上述固定内容的存储需求可以看出，传统的网络存储解决方案很难同时满足这些需求，传统上的DAS以及NAS和SAN网络存储技术都是基于文件数据或块数据且面向事务处理应用而设计的，而非专门针对固定内容存储需求定身而制。NAS、SAN和CAS之间的技术特性对比如下表所示。

NAS、SAN和CAS技术特性对比
从表中可以清楚地看出，内容寻址存储完全针对固定内容而设计，无论是从其寻址类型、数据内容可变性、传输类型，还是从其典型应用方面，下图可以很形象地说明这点。

面向固定内容的CAS网络存储技术促进了面向对象网络存储时代的到来。内容寻址存储服务器上的每一固定内容数据片断都代表了一个数据对象，在对其存储时系统自动为其赋予一个全局惟一的数字标识符，或称做数字指纹。对于网络存储系统的客户端而言，只需使用这一数字标识符/数字指纹经由CAS网络存储系统的应用软件服务器来实现对固定内容的存取即可。

EMC Centera的主要术语
熟悉Centera的术语是深入了解、设计并使用CAS技术的关键。在EMC公司的Centera所提供的开发文档里，主要涉及到以下一些术语：

EMC公司的Centera网络存储系统

内容地址（Content Address）用于操纵Centera上的对象数据的惟一标识符，该标识符是通过MD5算法得出的。如：。内容地址主要对Centera上的C-Clib进行处理，该地址一般保存在数据库上，通过API调用该内容地址得以传递给Centera服务器以备所需之时取回所存的固定内容数据对象。这里应该着重指出的是应用软件保存的是CDF而不是Blob的内容地址！实际上Blob的内容地址已经内嵌在CDF之中了。

内容描述符文件（Content Descriptor File，CDF） 用于保存元数据的XML文件，主要包含XML标签（Tag）和属性（Attribute）。
标签（Tag） 指内容描述符文件CDF中的XML标签，由用户来定义。如：ImageStore2004。
属性（Attribute） 指内容描述符文件CDF中的XML属性，由用户定义。如：。
Blob（Binary Large Object） 这个概念在Centera中非常关键，是指存储在Centera上的对象，是所存储对象的不同比特序列。
C-Clip 是包含CDF及其相关Blob的整个封装。

术语实例

EMC Centera的内容寻址技术
EMC公司Centera网络存储系统是世界上第一款针对固定内容的CAS网络存储解决方案。Centera的CentraStar软件操作环境采用了一种创造性的内容寻址系统来简化存储管理，确保存储内容的惟一性，提供了固定内容存储需求从TB级至PB级的可扩展性。Centera网络存储系统大大降低了管理整个存储系统的开销。
Centera网络存储系统实现了软硬件的完美结合，非常理想地解决了固定内容存储需求。对于网络存储客户而言，Centera系统的重要价值在于它的软件系统，通过丰富的API，用户可以非常容易地实现对整个网络存储系统的使用和管理。

当存储一个数据对象时，Centera首先根据所存储数据的二进制内容，按照特定算法计算出一个128比特的奇偶校验，接着，Centera把这一比特序列转换成一个独特的27个字符的标识符，叫做内容地址。这个内容地址源自所存储数据片断的内容本身，同样对于数据片断而言也是惟一的标志或称做数字标签、数字指纹，如下图所示。

Centera所实现的内容寻址技术可以有效地隔离对存储数据的非法访问。所存储数据的内容地址并不是对该数据的目录、文件名或数据类型的简单映像。客户端上的用户不具有Centera上的任何账号，更不可能对Centera进行浏览或管理。客户端用户存取Centera上的数据的惟一途径是通过存储系统的应用软件来进行——由该应用软件通过内容描述符文件（CDF）的27个字符内容地址来具体完成存取动作。
内容寻址（Content Addressing）是Centera区别于其他网络存储技术的关键所在，而其他网络存储技术如SAN、NAS等都是基于位置寻址（Location Addressing）的，基于内容寻址的网络存储技术降低了整个存储系统理解、管理、操纵存储介质上的信息的物理或逻辑位置的难度。
内容寻址技术的优点主要包括以下几点：
● 确保内容的可靠性
一个内容对象有且仅有一个内容地址，对所存储内容的任何修改都会被系统检测到，因为这个修改会产生一个不同的内容地址。
● 提供了全局惟一、位置独立的标识符
通过内容地址对所存储的内容进行寻址就导致了一个与存储内容相独立的内容索引，并且这个内容地址也与操作系统、文件系统和应用软件相独立。
● 单一实例存储
Centera只维护所存储内容的一个副本和一个映像，假设一个存取操作试图为30个不同的客户端用户存储同样内容的数据，那么对于所有这30个客户端用户而言，每一个用户的内容描述符文件CDF中的元数据是不同的，但数据对象本身只在存储系统上保存一份。由于采用特定的算法，每一个所存储内容的片断只有惟一一个内容地址与之对应，如下图所示。这种情形就为整个网络存储系统带来了前所未有的容量节省和简单管理，这也就是Centera之所以如此备受业界关注的重要原因之一。

正如SAN完全为优化块数据、而NAS完全为优化文件数据而设计一样，CAS完全为固定内容存储而设计。
内容寻址存储CAS提供了一种全新的高效的信息管理手段，完全适合于固定内容存储需求。内容寻址技术大大降低了应用软件操纵和管理存储介质上所存储信息的物理地址的难度。内容寻址存储的信息单元地址的计算是这样的：首先对所存储内容片断执行一个特定算法，从而得到一个数据单元的惟一ID（也称数字签名）；由这一ID与存储信息的元数据（metadata）一起构成所访问数据的实际有效地址。应用程序或用户只有通过数据单元的ID才能存取固定内容数据。通过对所存储数据片断的内容执行特定算法而得到数据单元惟一ID的另外一个特别之处在于，当有相同内容数据要存储时，系统会对所存储内容的本身按照特定算法进行解析，进而得到同样数据的同样标识符，这就避免了同样数据的重复存储。内容寻址存储CAS的这一特别之处对于固定内容而言其重要性不言而喻。

EMC Centera的RAIN体系结构
Centera系统的体系结构主要由四个部分组成：所要存储的数据对象、应用软件服务器、Centera存储服务器和客户端数据库。整个数据的存储可以分为五个过程:
（1）由应用软件服务器创建或使用数据对象；
（2）应用软件服务器在IP通路上通过一套Centera的标准API把数据对象发送给Centera存储服务器；
（3）Centera存储服务器按照特定算法针对所存储的数据内容片断的本身生成全局惟一的内容地址；
（4）Centera存储服务器把这一内容地址返回给应用软件服务器；
（5）内容地址由应用软件服务器保存在专用数据库中，以备客户端用户存取。

整个Centera网络存储系统的工作流程如下图所示。

Centera的CAS网络存储服务器采用了一套独特的可以避免任何单点故障（No-Single-Points-of-Failure）的RAIN（Redundant Array of Independent Nodes，独立节点的冗余阵列）存储体系结构，与CentraStar操作环境一起实现了一套集TB-PB安全高效扩展、自管理、自修复和自动重配置与一体的内容寻址存储系统。整个系统由很多节点构成，所有节点分为存储节点（Storage Nodes）和访问节点（Access Nodes），其中前者主要用于存储和保护数据，而后者主要为外部提供API访问。RAIN系统包含构成如下图所示。RAIN中的每一个节点都包含一套高端配置的计算机系统（典型配置：2GHz P4 CPU/512MB RAM/320GB EIDE/10/100BT NIC）和运行在Centera之上的操作环境CentraStar——在整个Centera中处于核心和关键地位。

Centera的软硬件在一个机柜内实现了一套P2P透明的集群环境，而这个机柜对于CAS网络存储客户端用户而言不过是一个“黑箱”罢了。Centera的初始配置容量为2.9TB，并且还可以非常便捷地扩充至几百TB甚至PB。一个机柜就能装有8、16、24或32个完全一样的节点，可以分别提供3.8TB、7.7TB、11.5TB或15.4TB的映像存储容量。Centera的每一个节点都具备数据处理能力，都拥有1TB的原始数据存储能力，并具有通过一个私有LAN与CAS网络存储系统的其他集群节点进行互连。
当需要向CAS网络存储系统增加存储容量时，新容量就作为“构建块”加入Centera的自配置系统，运行在Centera上的驻留软件就会通知整个网络存储系统有新的容量添加进来，并立刻为系统可用。
Centera大大简化了网络存储系统的规划和管理，用户不必关心RAID类型，也不必担心LUN绑定，更不用考虑创建何种文件系统。应用程序和存储管理员可以从繁重的超大容量文件系统管理和极为复杂的多网络存储拓扑结构中解脱出来。
据估计，在采用Centera的CAS网络存储系统中，一个管理员能够管理几百TB甚至PB级的数据，而在传统网络存储解决方案中仅能有效管理20TB～50TB的数据量。
概括地讲，基于RAIN结构的CAS网络存储系统的特点主要包括以下几点：

透明的P2P集群存储环境；
自配置功能；
各个节点均冗余；
通过镜像和奇偶保护手段来加强内容保护；
通过CDF＋Blob来加强自诊断和自恢复能力；
远程监控能力；
不可能发生任何单点故障。

EMC Centera存储系统的应用
通过以上分析可以看出，面向固定内容存储的Centera网络存储系统较传统网络存储技术能够更好地适应信息急剧增长的实际需求，具有广阔的发展前景，可以广泛地应用到企业级内容/文档管理、HSM解决方案、PC备份和归档、E-mail服务、医疗成像等诸多领域，典型的Centera固定内容寻址存储的体系结构如下图所示。

下面以Centera为例，简要地介绍一下CAS的具体应用。

（1） 企业级内容/文档管理
Centera在这类商业应用中使存储内容的可靠性和信息保存符合一般的企业级存储需求，并可以与应用程序简单地集成在一起，提高了可访问性;它高效率地利用存储设备；自配置、自管理和自恢复带来了低管理开销；存储内容与位置无关并使商业服务具有连续性。
典型的Centera商业应用如下图所示。

（2）E-mail服务
Centera对电子邮件业务主要有以下功能：对邮件的透明化归档处理，无需用户插手；高效存储消除了大量邮件副本的存在，正好适合这类应用的需求；存储内容的可靠和保存；提高了可访问性；高效率的存储利用；自配置、自管理和自恢复所带来的低管理开销；大规模可扩展性。
Centera的电子邮件服务如下图所示。

（3）医疗成像
Centera对医疗成像系统的影响主要包括以下几个方面：存储内容的可靠性和保存符合一般的企业级存储需求；非常容易地访问大量归档信息；大规模可扩展性；自配置、自管理和自恢复所带来的低管理开销；保证技术的长久适应性。
Centera的医疗成像应用如下图所示。

CAS标准化进程
正是由于CAS技术在归档及固定内容存储和恢复参考信息领域所具有的独特优势，才使业内越来越认识到了为这个新兴技术建立业内标准的紧迫性和重要性。如今，SNIA正在联合CAS领域内的两个领军人物EMC和Permabit 共同制定关于固定内容寻址存储解决方案的相关标准，即Content Addressable Storage Solutions Initiative（CASSI）。今后，CASSI还将作为SNIA的数据管理论坛和信息生命周期管理计划的一部分。

CASSI将始终关注CAS技术的发展，为最终用户和相关厂商提供各种相关的及时有效的信息资源和工业标准解决方案。除此之外，CASSI中最主要的工作目标就是为CAS技术设定基于存储管理界面的统一的管理界面。（注：存储管理界面SMI是SNIA开发的一种标准管理接口，旨在减轻多厂商SAN环境的管理负担。SMI-S为各种网络组件提供了一个通用管理接口，减小了SAN管理的复杂性。）
世界著名的评估公司Evaluator Group的资深分析家Randy Kerns指出，在存储领域里有好几个有关数据记录与保存的认证机构，而到目前几乎还没有任何基于磁盘记录的CAS产品拥有这些认证。
既然这样，那么未来的CAS网络存储之路是继续走“市场应用完全决定标准制定”呢，还是“在标准化旗帜下大家一起奋勇前进”呢？在笔者看来，有关服务商在努力改进并极力推广其解决方案的同时，能够积极地关注全球网络存储标准化的进程应该是非常明智的举措，毕竟蛋糕虽大，一人难吃。
CAS网络存储技术的前景究竟如何，我们还是拭目以待吧！
HP公司的RISS
参考信息存储系统（Reference Information Storage System，RISS）是HP公司去年推出的一套针对电子邮件保存和管理问题的智能化归档解决方案。由于采用了网格计算的架构，整个RISS系统中包含了许多独立的“存储智能单元”。每一个“存储智能单元”都拥有自己专有的处理器、存储容量和内容索引。而各个单元之间又通过相互镜像的方式来提高整个系统的冗余特性。每当加入新的“存储智能单元”时，除增加了相应的存储容量外，整个系统处理性能和内容索引能力也将得到增强。
HP在这套RISS系统中融入了一些我们前面所介绍的CAS产品的特性，例如：

惟一保存 所谓惟一保存就是指当一封邮件被发送给多个不同的接收方时，系统将只保留一份邮件的拷贝。虽然在那些邮件接收方看来他们每人都保留着这份邮件的原始副本。
数据完整性 RISS为每一条存储的信息都分配了一个惟一的数字签名。这种数字签名包含两个部分：原始信息的hash和时间标记（记录信息到达这个系统的时间）。这两部分内容都将经过128位DES算法加密。当有用户需要找回某封邮件时，系统将首先核对这封邮件的数字签名是否与曾经记录的相符合，如果符合，则将这封邮件转发给最终用户。
虽然HP的RISS系统还并不能算做一款真正的CAS产品（它的主要定位还只是一款拥有强大的搜索与检索功能的邮件信息存储和管理系统），但它所具有的CAS产品的功能和特性还是为其邮件保存和管理工作带来了性能与效率的提升。因此，在未来的存储应用趋势中，CAS的技术和思想也将逐渐渗透到各种传统的存储应用当中去。