IBM On-Demand虚拟存储网络解决方案

 

简述

 

SAN作为一种存储专用网络，最早出现在IBM 主机系统中，后在1994年成为Unix和Windows系统的规范，近10年来发展神速，特别是近一两年中，SAN呈现出更新换代式的突破。

 

新一代的基于虚拟技术的SAN网络相对于传统SAN的最大进步是SAN中包含了大量面向数据的智能化功能。而这些功能的有些是全新的，而有些是替代原来靠昂贵的服务器软件或存储控制器软件实现的功能。整个SAN网络只需要一套网络软件许可证，而不需要单独为每套服务器或存储控制器购买软件。所有SAN中的存储可以统一成一个大的存储池，集中管理和分配，消除不同品牌存储间的隔阂和限制，因此最大限度的发挥各存储设备的性能。

 

更为关键的是，这种存储网络实现了On-Demand的存储体系（按需存储）。On-Demand存储的含义是按照业务的需要，灵活的透明的改变存储方式，以随需应变。而在传统的存储体系结构中，On-Demand实现非常困难。应用对存储的要求变化可归纳为四种：

 

容量需求的增减

 

业务量变化导致数据量变化，而数据量的变化又对存储容量产生新要求

 

I/O性能需求的改变

 

应用的性能要求是不断变化的，当业务高峰来临时可能会产生巨大的I/O请求访问量，如果有效的响应，将直接导致应用服务水平的下降，甚至使得应用出错，影响业务运作。

 

数据存储安全性高低的改变

 

关键的数据存储应该存储在SAN中最安全的存储设备上。但是，数据的关键性与否，可能变化。或者数据的重要程度也可能变换。

 

数据存储功能要求的改变

 

例如有些数据需要每天备份到远程，或需要在本地作克隆。

 

On-Demand 存储系统的意义在于，当以上情形发生时，存储系统可以立刻应需而变满足要求，并且在改变过程中，不影响应用的运行。IBM 新一代虚拟存储网络系列具备这些特性，因此被定义为On-Demand的存储系统。

 

虚拟存储的概念

 

其实虚拟存储并不是一个新概念，很早以前，IBM在大机（mainframes）上的 VM （virtual machine）技术或 IBM公司通过虚拟磁带将虚拟存储的概念实施到磁带库上（VTS）都是运用了虚拟技术。简单的来说，虚拟存储是一种具有智能结构的系统，它允许客户以透明有效的方式在磁盘和磁带上存储数据，统一管理磁盘空间，使得客户的存储系统容纳更多的数据，也使得更多的用户可以共享同一个系统。在虚拟存储环境下，无论后端物理存储是什么设备，服务器及其应用系统看到的都是其物理设备的逻辑映像。即使物理存储发生变化，这种逻辑映像也不会改变，系统管理员不必再关心后端存储，只需专注于管理存储空间，所有的存储管理操作，例如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等都比以前容易的多，存储管理变得轻松简单。

 

在虚拟存储环境下，存储对用户来说将变得透明，用户可以不必关心存储设备的功能差别、容量大小、设备类型和制造商如何，所有有的设备将被统一管理，而且赋予统一的功能如 Flashcopy、远程灾备等。

 

总体说来，存储虚拟化有三个层次：基于服务器的虚拟存储、基于存储设备的虚拟存储、基于网络的虚拟存储。

 

基于主机的虚拟化 ——这种方法是在很多厂商阵列之间通过LVM（logical volume manager）建立存储池，在一个操作系统下共享不同阵列。

 

基于存储的虚拟化 ——这种虚拟化是指一些高端阵列本身的智能化管理，可以实现同一阵列供不同主机来分享。以上两种均是在主机和存储的“BOX”内部实现的，如果把上述功能移植到网络上，便是基于网络的虚拟化。

 

基于网络的虚拟化 ——这种虚拟化在多厂商阵列之间建立了一个存储池，也可以与不同的主机平台相连，对主机来说看到的是不同的阵列的统一映像，实现了不同主机和存储之间的真正的互连和共享。从存储的发展趋势来看，基于网络的虚拟化是发展的潮流。 基于网络的虚拟存储可分为带内（ In-band）或带外（Out-of-band）的虚拟存储架构。

 

IBM的虚拟存储新成员--- Virtualization Engine( 虚拟引擎 )、SAN File System（ SAN 上的统一文件系统）， 都是基于网络的虚拟产品。

 

SAN Volume Controller（缩写为SAN VC），SAN控制器，是存储业界又一次崭新的突破，就像存储历史上的RAID，主机系统的存储管理体系和虚拟磁带技术，这些重要的发明均源自IBM。 SAN Volume Controller 是整个SAN 网络的控制器，它将整个SAN中的各种存储设备整合成一个巨大的存储池，充分利用存储资源和按需分配存储空间、性能和功能。而传统的SAN网络中，每种存储系统都自成一体，就像一个个独立的孤岛，无法构成一片统一的大陆。

 

SAN VC 实现了虚拟存储层（Virtualization Layer）的功能，将存储智能加入到SAN的网络中。现在用户可以按照应用不断变化的需求来分配存储，而不再受制于存储子系统设备在功能和性能上的限制。SAN VC 又是一个SAN网络的中心管理控制点，而且它对服务器的操作系统和存储子系统透明。

 

这个SAN的中心控制器具备更为灵活的磁盘管理功能，极大的提高了存储管理的效率，例如可动态创建和扩展逻辑卷等。而且，SAN VC为各种不同的存储设备提供了一个统一的数据复制平台，例如瞬间复制-FlashCopy和远程复制-Remote Mirroring。这些复制功能都允许源磁盘卷和目标磁盘卷可以存在于不同品牌的磁盘阵列上。

 

透明的数据迁移是SAN VC的基本功能，当SAN VC被加入到一个现有的SAN 环境中时，不需要做数据迁移，SAN VC 把现有的磁盘配置原封不动的继承下来（这是SAN VC的Image mode），这样对服务器上的应用是完全透明的。当SAN VC完全配置好以后，它又可以将原先磁盘上的卷及数据透明的迁移到其他真正的虚拟卷中。所有的迁移过程对服务器透明，因此不需要中止应用。

 

IBM SAN VC是一个软硬件集成化的产品，专业的虚拟存储软件运行在集群式的硬件引擎上或者在CISCO的MDS网络交换机硬件上。由于SAN VC是为一个完全开放的存储环境设计的，兼容各种不同的存储设备。用户可以将各种存储方案融合其中，而不用担心SAN VC会有什么封闭性。SAN Volume Controller 天生具备灵活的扩展能力，可以使用户在存储性能和存储容量方面平滑无缝的升级。例如，扩展控制器个数可以增加性能，而往存储池中增加磁盘则可以增加容量，这两方面的扩张都可以在线完成，不需要中止应用。SAN VC的主控台提供了自动向IBM服务中心报警(call home)和远程支持的能力。

 

SAN File System是一个安装在SAN中的文件系统，也是一个软硬件结合的产品。它为各种不同的操作系统平台提供一个统一的文件存储环境，实现文件级的数据共享，存储分配，Serverless的数据备份，而且与SAN VC一样，它也具备了按照策略动态地调整存储设备配置，透明的迁移数据等虚拟存储SAN控制器的功能，而所有功能目的是围绕着文件级的存储服务展开的。

 

虚拟存储网络的应用

 

我们举例说明虚拟存储网络的应用。以下的例子是虚拟的，融合了多个实际客户的案例，用来显示如何是On-Demand的存储环境。

 

某大型企业H亟需上线一个新的数据仓库系统，将会新增加一批软硬件设备。原有环境中已经有了许多存储系统如 IBM 的ESS F20、FAStT 500和MA8000。有些用于运行核心应用的数据库系统，OA系统和财务系统。有些存储设备基本闲置，闲置设备的性能无法满足数据仓库的需要。

 

CIO希望能有一个集中式的存储系统，以便于集中管理和更好的利用存储设备，并在将来实现数据的灾难保护。但是数据仓库的进程非常紧张，而且重组所有的存储系统需要巨大的工作量和风险性。而且，更换所有存储并实现异地灾备需要很大的资金投入。

 

计划中将要上线的系统还有电子档案和资料系统（包含多媒体信息），实时监视分析系统（用于各摄像机录下的影像），而今后的财务系统可能会并入核心应用系统。看起来还需要好几个存储系统，存储管理的复杂度变高，相对数据安全性下降。CIO为如何管理着许多存储设备和数据存储的安全性担心。

 

当CIO发现IBM 虚拟存储的技术时，当前的问题立刻迎刃而解。

 

数据仓库的存储系统

 

由于数据仓库项目的进程很紧，H公司立刻引进了一套IBM 的SAN Integration Server—SIS。 SIS表面看来和一个光纤磁盘阵列没有太大不同，被称为是罐装的SAN（SAN in a CAN）。其内部是由IBM的FAStT磁盘组，SAN VC虚拟控制器和光纤交换机组构成。

 

SIS 的最大容量可以达到100TB，最大I/O吞吐能力280,000IOPS。SIS拥有巨大的容量和卓约的性能，而价格只是相当于市场上光纤阵列的价格。

 

SIS的几乎是一个“即插即用“型存储，数据仓库的硬件系统很顺利的实施了。至此，存储结构似乎与原来没有什么变化，除了多了一套SIS。

 

当CIO开始考虑存储集中时，SIS 中的SAN VC开始大现身手了。

 

转移到虚拟存储网络中

所有的磁盘存储设备从各自为政变成由SAN VC统一分配和管理，SAN VC可以看成是SAN的一部分。下面是设备的物理连接图，看起来和普通的SAN似乎没有太大区别。

 

在设备管理上，通过 SAN VC (SVC）的虚拟卷管理功能，首先将所有的磁盘卷交给SVC管理。管理员根据设备的特性，定义了高性能组设备和低成本设备，并根据服务器的需要创建和分配存储，如下图：

 

 

 

服务器A使用的是SIS上的空间，当需要的空间超过SIS的当前容量时，SVC将部分ESS的空间与SIS合成，满足A的容量要求。而且，由于这个合成的空间是由两个物理设备构成，因此性能也是两个设备的和。

 

如果，某台服务器的I/O要求突然提高了，那么，可以动态更换虚拟盘Vdisk所对应的物理设备。例如，服务器C上的Vdisk原来使用的是“低成本组“的磁盘设备，如果发现性能不够时，可以在不停应用的情况下，透明的将数据转移到“高性能组” 。

 

远程灾害备援系统

 

当需要实现远程数据实时镜像保护时，可以在不同的存储阵列间同步数据。在本案例中，所有的生产数据通过虚拟SAN网络，都迁移到了高速的SIS和ESS中。MA和FAStT可以放到远程作为备份用。这样既保护了投资，又建立了一个完全实时保护的灾备系统

 

 

高速的数据共享系统

新的电子文档系统有大量的多媒体数据，需要一个高效的文件共享系统。IBM的SAN文件系统基于存储网络，不仅提供高速的访问，而且具备了按照策略存储的能力。例如，客户定义了如下规则：

所有图像文件和影视资料存储在低成本的存储设备上

数据库文件存储在高性能的存储设备上

指定的关键性文件需要远程镜像

程序开发文件需要多版本保留

当这些规则定义到SAN file system中后，文件存储会自动按照这个规则存放。若有这些规则没有定义到的文件需要存储时，SAN file system会使用缺省的存储系统来存放。

总结：按需应变的存储系统

这个基于IBM虚拟存储的系统，达到可完全动态调整整个SAN存储容量、性能和功能的能力。而且可以根据数据类型的不同，自动提供不同的存储服务，具备了极强的包容性，即保护了原有的投资也为将来的发展提供了一个完全开放和克无限扩展的空间。