一、序言
从基础存储设备的选择与部署,到数据备份、迁移解决方案的实现与优化,再到企业内容治理(ECM)中间件以及众多应用产品的集成,全球数据存储、治理、应用系统解决方案发展经历了从 “以架构为中心”到“以功能为中心”的多个发展阶段。
如何立足现有系统,运用成熟开放的技术来建设一套技术领先、投资合理、流程顺畅、贴近应用、覆盖面广的信息生命周期治理(Information Lifecycle Management, 以下简称ILM)系统,形成合理的信息利用、运营模式,降低整体业务运营风险与成本,提升价值回报,进而有效扩展增值空间,业已成为全球众多企业、组织在IT信息化建设过程中探讨最多的问题。
Network Appliance,Inc(NASDAQ:NATP,以下简称NetApp)是全球公认的在企业数据存储以及信息传递项目中的领导者。公司成立于1992年,全球员工人数2400余人,全球32个分支机构。2002财年营业额为9亿美金,全球存储设备安装量超过45,000套。NetApp是S&P 500成员之一,Nasdaq100成员之一,财富e-50最早的成员之一。NetApp不断提出先进的系统解决方案,发掘在IT架构机制中的价值潜力,将足以使企业用户拥有更为长久的竞争优势,并同时改善企业、组织的运营效率、获利能力。NetApp的产品经过极具竞争力的解决方案加以整合,具有最优的总体拥有成本(TCO)指标,能够从本质上提到企业的投资回报率(ROI)。
NetApp通自有资源整合、商业伙伴合作以及并购活动,在全球范围内率先将存储架构、数据备份/迁移产品以及企业内容治理平台加以整合,形成了完整的ILM解决方案。覆盖信息的创建、分类、迁移、保存,直到应用增值的全过程。NetApp充分利用在存储系统技术上的全球优势,能够为客户进行信息生命周期治理需求分析、技术调研、系统构建、系统维护和系统扩展的全方位服务。
在这一系列工作中,NetApp愿通过提供ILM技术和一系列配套解决方案、技术服务的方式,为中国各支柱行业客户的信息化建设作出最大的贡献。为此,我们专门编写了这份文档,希望我们的用户能够更加全面的了解NetApp ILM解决方案和技术支持服务,从而选择最先进、最完善、最有效的系统建设途径。
我们相信,NetApp ILM解决方案以及专业的服务,能够为多中国用户提供真正的信息治理、信息增值之道。
二、企业、组织面临的新需求及其带来的挑战
Internet/Intranet技术的发展带来了信息应用业务的迅速发展、信息化工作环境的不断完善和多类型信息的关联化应用的趋势,当今国内企业已经开始进入依靠信息作为发展动力的时代。数字信息让交易变得更快捷,给客户提供互动的渠道,最终为企业带来更强的竞争优势。信息的存储、治理、保护和分配,都对企业降低成本、增加盈利有着直接的影响。现今商业运作过程中产生的数字信息量与日俱增,这对企业数据存储的基础设施提出了战略性的要求,包括:
- 加强对海量信息保存的周期治理和价值治理,确保对不同等级的数据提供与之相适应的存储设备和治理方法。传统上,当磁带方式的近线存储或离线存储方式不能简便存储、快速应用庞大数据时,企业会不得不去添加昂贵的在线存储设备。随之带来较多的设备兼容性问题和治理上的难度。假如能够由近线硬盘阵列保存这些信息,一些企业就可以因为有更多的历史信息可供快速参考而能进行更好的战略决策,从而通过扩大收益降低成本。
- 避免效率低下的存储方式增长企业的商业风险。激烈的竞争环境需要信息更加广泛、快速地在各个企业、企业的各部门或经济领域(如金融服务、保健、制药或其他需要及时信息的公共服务行业)间互相传递,这就要求企业数据存储的基础设施能够快速准确地对信息进行定位、访问。
- 最大限度的提高系统服务质量(QoS),即提高企业商业价值。因为处于不同应用周期阶段的数据会对最终的服务质量产生不同程度的影响,所以企业必须精确评估信息的价值,总结治理使用信息的策略,提高资源利用率。
面对这些战略要求,多个信息应用行业已经不满足于彼此分离的存储架构治理、信息备份/迁移治理和企业内容治理(ECM)应用。他们都意识到了在整个数据治理策略中,对于不同功能、特点的数据投入不同等级的资源进行治理、存储、访问、保护是非常要害的。这些用户希望能有一种解决方案,提供更紧密的企业内容治理应用整合以及在不同平台上的各种类型数据的集中治理。
NetApp的存储治理和数据保护方案,以及与业界其他领先厂商所建立的密切合作伙伴关系,使我们能够整合一套符合经济学原则的信息创建、分类/安全保护、迁移、保存和应用的系统架构、规则体系,提供基于简单、创新和高性能的产品和服务,满足客户的此类需求。
三、信息生命周期治理(ILM)的含义
信息时代一个最明显的特征就是我们的生活越来越趋向于数字化,保证这些数字化系统顺利运转的核心就是承载在系统之上的大量的有价值信息数据。但信息本身的价值也并非一成不变,它实际上就像世界上任何生命体一样也具有生命周期。根据信息在其生命周期中重要性变化的不同而对其进行相应的治理,以发挥其最佳效益,对于用户来说就显得十分重要。
信息生命周期治理(Information Lifecycle Management,简称ILM)正是适应这一形势需要而产生的。
ILM是一项保证企业能够在信息存续周期中对其加以有效的治理,对相关的IT资源进行整合,并且根据需求,成功的对其加以应用的战略,它是技术手段和治理规则的组合。
首先,ILM是一套软硬件系统,它围绕企业获取和使用数据的方式来规划企业的信息资源。其次,ILM也是一个治理理念,它需要企业检查各自的数据,明确必须存储哪些信息,信息的可用性和可访问性必须达到何种要求,必须存储多长时间,如何访问,何时进行此类访问,何人有权访问,如何确保完整性,何时废弃以及如何废弃信息等等。
IT系统的使命之一就是要帮助各类用户实施新的信息治理战略,以求用最低的总成本实现信息价值的最大化。ILM恰恰对如何合理地安排存储层次和结构起着明显的指导作用。借助ILM,各企业可以对在线存储设备上的各类数据的创建以及迁出时间进行甄别,并进行相应的治理,从而最大限度地提高这些数据的价值,并将治理成本保持在合理的限度内。
四、ILM 过程划分
NetApp在统一存储(Unified Storage)先进理念与成功实践的基础上,提出了一套完整的ILM过程划分模型,如下图所示:
这套过程划分模型包含:
- 过程一,数据的创建阶段。数据的创建阶段是ILM的重要组成部分,ILM系统的治理规则运用,在这一部分有着很好的体现。数据应用的周期性规律,决定了可以根据其重要性的不同而分为动态数据、静态数据、受控数据等不同的种类。
- 过程二,数据的分类、安全保护阶段。NetApp认为,基于存储成本数据并不都是生而平等的。数据的创建阶段是ILM的重要组成部分,ILM系统的治理规则运用,在这一部分有着很好的体现。数据应用的周期性规律,决定了可以根据其重要性的不同而分为动态数据、静态数据、受控数据等不同的种类。
- 过程三,数据的迁移阶段。根据数据不同的重要性、功能,用户可以采用NetApp的解决方案来更好地迁移数据、维持设备的正常运转、极大减少恢复时间,同时获得最大的灵活性、高性能和简易性,并且降低治理成本。
- 过程四,数据的保存、归档阶段。用户可以通过采用NetApp Filer文件存储系统和NearStore近线存储系统以及SnapVault,以在线、近线和离线方式相结合的方式,合理的保存、归档自己的数据,并同时保持最高的数据可用性和治理简便性。
- 过程五,数据的应用阶段。在以上几个过程的基础上,用户可以以最高的效率、最低的成本,从容应对竞争环境下不同的数据应用需求。
五、NetApp ILM 解决方案
在ILM这个前沿技术领域中,NetApp基于全球领先的技术,提供如下ILM专业方法论以及解决方案:
- 保障业务高效运作,遵循成本节约原则
- 提供强大的ILM模块化解决方案和开放式的系统APIl
- 提供统一的数据保护以及记录保存机制
- 为用户提供当前可用的成熟、可靠解决方案
- NetApp ILM解决方案提供强大的全球应用合作伙伴机制
- NetApp ILM解决方案提供完整的在线、近线灾备机制
- NetApp ILM解决方案确保数据应用性能和安全,确保记录的强制保存
- 为用户提供易于治理的分级存储(HSM)机制
- 最大释放NetApp的技术优势
- 提供最优的存储设备,提供统一存储的理念以及具体解决方案
- 一如既往的提供具有高度可用性、易于治理的存储系统,包含在线存储设备和近线存储设备
- 高度保证用户的自主选择空间
- NetApp拥有众多最优秀合作伙伴,可以提供最好的ILM解决方案以及丰富、开放的API接口
六、NetApp ILM的开放式层级结构 NetApp ILM的体系结构可以分以下几层来进行介绍。
企业内容治理应用层
- 这一层负责存储、查询发布非结构化数据。企业内容治理系统和关系型一样,也是一种数据治理系统,只是治理的对象有所不同。
- 关系型数据库治理的是一种被称为“二维表结构”的数据对象,工资表、花名册等就是典型代表,而企业内容治理应用中治理的数据对象,是“非结构化”数据,大文本数据、视音频数据是典型代表。
- “非结构化”数据本身没有“二维表结构”那样的数学模型可以进行表示,但可以通过分类、主题词以及元数据进行逻辑上的组织。企业内容治理应用的一个最重要的任务之一就是以逻辑关系的方式对“非结构化”数据进行组织,实现对这些数据的创建和应用与物理存储完全隔离。
数据迁移应用层
- 这一层负责根据NetApp ILM中设定的策略,将数据在近线、在线存储系统之间进行数据迁移。
- 除采用第三方数据迁移软件外,NetApp SnapVault软件可让用户从多个本地或远程的异构环境系统中的快照备份非常有效地存储到NearStore系统上。这个快速自动的过程减少了异构的存储和计算环境中备份的时间,保证了对快速恢复数据的即时访问,显著降低治理的复杂性,提高了解决方案的效率。这些措施通过使被保护数据资源的集中和整合显著提高了存储的备份,通过新的数据保护功能为客户带来更大的投资回报。
存储设备层
- 根据数据性质、功能不同,本层可以采用NetApp Filer FAS200、900系列的在线存储设备或者NetApp NearStore100、200系列近线存储设备。NetApp同时提供多种强大的存储整合手段。
- 在线存储部分,通过NetApp所倡导的统一存储(Unified Storage)方式,可以在同一个存储设备上,在同一个下,提供对多种不同协议的支持,即满足CIFS、NFS、DAFS的文件级访问,同时又支持FCP、iSCSI的块级访问。由此大大降低了用户投资存储的风险,用户在同一系统中可以同时实现IP SAN和FC SAN,甚至iSCSI。其中,最新的NetApp 900系列产品可以提供更大容量、更高的可升级性和性能的高度提升。用户可利用NetApp FAS900系列产品部署要害应用,例如数据库、CRM 和 ERP,使客户在整合现有的SAN 或 NAS基础架构的同时获得易于治理的解决方案。
NetApp FAS900系列运行新发布的Data ONTAP 6.5操作系统,提供NFS文件访问和使用GbE 和DAFS的CIFS,还提供包括基于光纤通道协议(FCP) 和iSCSI的数据块访问。它们具有高可升级性的基础架构,可支持64 TB(集群系统)和32TB(单机系统)的存储容量。NetApp 能为您提供企业级存储系统高吞吐量和快速反应时间的最佳组合。
- gFiler网关设备,NetApp gFiler是一种非凡用途的、高度优化的多协议存储设备,可无缝整合到光纤通道SAN结构中。用户可利用Netapp的高性能和可升级的数据治理解决方案,将DAS、NAS和SAN的信息孤岛整合到一个公共开放的存储池中。对于iSCSI的支持增强了现有NAS的容量,提供经济实惠的存储整合,增强最大范围服务器和应用数据的可访问性。
NetApp gFiler可为现有的SAN环境提供NetApp唯一的存储治理工具,使用户将IP存储所带来的好处引入到数据中心,同时可保护企业现有的光纤通道SAN的投资。GFiler还包含了功能强大的新的软件,例如SnapMover,使得gFiler成为业界用于异构存储环境的功能最强大的存储网关之一,目前gFiler网关支持IBM和HDS的存储系统平台。
- 近线存储部分,NetApp NearStore R100、200存储系统和SnapVault软件提供基于ATA磁盘的企业级存储解决方案,满足了存档、索引、备份、记录保存以及“二级”数据存储需要。
NetApp NearStore系统和SnapVault软件的组合使企业能在线备份数十TB的数据,同时将对存储系统的其它部分的影响降到最低。
- NetApp还将领先的RAID-DP(double-disk parity,双磁盘奇偶校验)技术整合到全线企业级存储系统中,以便在发生多个与存储相关的磁盘出现故障或错误时为用户提供更强的数据保护。RAID-DP是业界经济实惠而又易于部署的方案,在异构环境中对企业数据故障恢复提供更高的可靠性。
以上三层之间通过NetApp ILM的开放式API加以连接。
七、NetApp ILM的全球应用合作伙伴
在以上介绍的NetApp ILM开放式结构中的企业内容治理应用系统和数据迁移应用系统上,NetApp在全球拥有众多的合作伙伴,分别提供业界领先的、特点各异的应用解决方案,可以方便不同行业的不同客户,根据自己的实际需求以及偏好加以选择。它们是:
NetApp与Cisco、FileNet和VERITAS保持着深层次的战略合作伙伴关系,共同致力于ILM、数据治理、备份和恢复、记录保存、保护等企业级客户的要害问题。
八、NetApp ILM部署的要害:FPolicy API NetApp ILM通过自有的,基于Data ONTAP的API―FPolicy来支持ILM三层体系结构之间的治理、数据通信。
- ILM应用通过FPolicy API认证、注册到整个ILM系统中来,由FPolicy API对数据的打开/关闭、创建/删除、重命名、目录的重命名/删除等操作进行消息通知。
- ILM应用决定了整个ILM系统中的存储分配、数据分类、迁移、保留、应用和安全控制等操作。
- ILM系统中的数据迁移根据ILM策略、保存期限、安全权限等情况来加以执行。
九、NetApp ILM的透明式文件迁移治理机制 在NetApp ILM解决方案对结构化和非结构化数据进行迁移操作时,整个过程是透明的。服务器端察觉不到数据的移动并与FAS文件存储系统之间保持完全连接。由Data ONTAP负责根据本地策略引擎的指派完成文件迁移。
十、NetApp ILM能够带来的客户价值及优势
- 将企业信息价值最大化。通过对不同等级的信息采用不同的在线、近线和离线存储手段和治理规则来实现。
- 降低系统运营成本,避免复杂的系统治理。通过简洁的结构、简便的部署和简单的多问题处理手段来实现。
- 降低系统风险和维护花费。通过提供高度可靠、可用的设备,提供数据DP双校验技术和对记录的强制性保存、死锁机制来实现。
与其它ILM解决方案相比,NetApp ILM解决方案具有以下优势: 提供强大适用的数据分类手段。
目前用户普遍最为关心的两类数据是:需要经常访问的数据,系统要为这些数据提供快速访问机制;不需要经常访问的数据,系统不必为这些数据提供快速访问的机制。利用数据分类手段将以上两种数据加以区分,分别存储在高性能高成本和稍低性能稍低成本的存储设备上,可以通过NetApp ILM解决方案中的存储治理机制将它们无缝融合,并且不带来大的服务水平下降。
除了以上这两种从存储成本角度考虑的数据分类外,NetApp ILM解决方案中还包含必须以不可重写、不可擦除方式保存的数据类型,如强制性记录保存的数据。
- 必须保存在高安全性区域的数据,往往也是一些强制性记录保存的数据。该类数据需要严格的权限认证治理、存取控制和加密保护。
- 必须具备最高可用性、服务质量(QoS)的数据,比如在线业务、ERP/MRP、活动油田探测数据和半导体设计数据等。
- 必须经常备份的数据,该类数据要求备份窗口能够得到保证、可以恢复最近的数据版本。
- 价值虽小,但是必须保存以备不时之需的数据。
- 可供发布,满足业务需求的数据,等等。
不同行业的用户对数据类别的侧重点不同,但同样都可以利用NetApp ILM解决方案为他们的数据寻找到合理的数据分类方式和处理手段。为各自的业务带来低成本、低风险、有效的、不可损毁的ILM解决方式。
迅速降低大中小型企业、组织的成本,并且使得它们可以花费较少的存储投资却保存更多的在线信息,同时不对其服务水平产生显著影响。
- 需要说明的是,在NetApp ILM解决方案中,该过程是在客户原有体系架构的基础上无缝进行的。从应用或者用户的角度看上去,就似乎没有发生什么变化。最根本的就是,需要应用NetApp ILM独有的透明文件迁移机制,将在线存储后端存在的各种类型的其它存储方式加以有效的治理。
- 在此过程中,NetApp ILM需要用户进行极少,甚至根本就不需要进行任何治理活动。以此避免额外的系统复杂度和治理开销。这方面也是秉承了NetApp一贯的简便性、高可用性和易治理性原则,将给用户带来极大的好处和便利。
- NetApp ILM解决方案易于配置、部署和维护,并且仅需要较少的治理。
与业界先进解决方案提供商结成稳固的战略伙伴,为各行业用户提供领先的ILM解决方案。
NetApp 与Veritas建立了牢固的战略合作关系,并在共同努力提供一套一体化的数据分类和迁移解决方案。NetApp也将对客户提供Veritas的数据生命周期治理产品(Data Lifecycle Management,DLM),Veritas DLM产品通过NetApp专有文件系统Data ONTAP提供的FPolicy API接口和SnapLock等软件与NetApp的文件存储系统Filers、NearStore等设备做到紧密集成。
- DLM 可以帮助企业用户根据数据属性将其分类,迁移到近线存储盘阵、只读存储设备或者磁带中。
- NetApp同时还与业内其它的一些解决方案提供商合作,提供与NetApp Data ONTAP集成的类似解决方案。
- NetApp将继续发挥ONTAP结构简洁、可靠的优势,为客户提供基于Filer-NearStore的二级存储结构,同时满足对较少量、高性能要求数据和较大量、较低性能要求数据的分级存储需求,为用户提供低TCO的系统解决方案。
创建一个简便的ONTAP“政策引擎”,使得用户可以自主配置数据在Filer和NearStore之间的数据迁移。
支持在Filer和NearStore之间进行透明的数据迁移。连接到Filer上面的客户并不察觉NearStore的存在,即在任何情况下不发生客户被重定向到NearStore上面的情况。
NetApp ILM解决方案答应用户随时自主决定前端在线Filer系统的规模,从而自行在存储成本和能够提供的服务级别之间做出平衡。出于调整NetApp的负载的考虑,用户还可以选择将NearStore中的数据迁移回Filer或者在Filer将数据发送到客户端后即不再要求数据迁回。
更进一步的,基于“统一存储”的理念,NetApp ILM解决方案的存储设备采用同一个机头即可同时支持FC和ATA存储方式。
不仅满足用户降低运营成本的短期要求,同时支持用户长期的细化数据分类、有效治理数据的需求,达到真正降低成本、治理业务风险的目的。
与降低短期业务成本相比,以上的需求更加具有挑战性。建立完善数据分类体系需要用户花费较多的精力完成,由此会为ILM系统的长期建设带来一定的复杂性,NetApp将提供简洁但是强大的、面向多种用途的ILM解决方案,以适应不同用户进行长期ILM建设的需求。
NetApp将提供最优的存储系统,不断增强基于ONTAP的ILM开放式API,确保应用合作伙伴可以以更加有效率、更加快速的方式应用存储在NetApp设备上的数据,加强对“关于信息的信息”即“元信息”的治理,提供更加有效的数据分类方法。NetApp提供元数据信息的方式是:
通过它的FPolicy API,用于在文件属性发生改变时对外提供消息。
加强文件元数据信息
这两种方式都可以在ILM应用中提供更加有效的通信。更加丰富的元数据信息使得用户能够做等多的数据分类,并且作出更加智能化、自动化的决策。
- NetApp ILM将提供最优的透明化数据迁移解决方案解决。这将给数据的迁移和存储带来最优的效率、最少的数据实际迁移量和存储量。这也意味着客户并不会察觉到数据已经或者正在被迁移,客户想在什么情况下使用数据就在什么情况下使用数据,根本不必关心数据的实际存储位置。
- NetApp ILM将为用户及其IT部门提供在同一系统或者多系统条件下对存储池进行二次调配的可能。适应他们不同的业务变化,简化治理方式。NetApp将通过存储网格技术、可调配的存储池来支持不同的业务应用。(如“高性能池”、“强制记录池”等)。
- NetApp ILM将为用户提供简单的接口,用于NetApp设备的治理,这样系统就可以优化对按照规则自动创建的数据的治理。