IToIP之自适应IP存储-Neocean网络存储

一、IT的变革

  自上世纪90年代以来，摩尔定律的诞生，拉开了人类历史上的一次重大变革----“信息技术革命”。人们利用信息技术对生产方式进行了大规模改造，使政府、企业和事业的运行方式发生了根本性的变化。
与此同时，IT系统的建设也在各个维度和层面轰轰烈烈地开展起来。然而，在十多年的IT建设中，在不断追逐“新技术新产品”的同时，IT系统建设也暴露出越来越多的问题和困惑，在2002年IT行业处于低迷的时期，很多人开始质疑是否真的需要不停地升级和更新IT设备？甚至质疑 IT投资是否真的获得了回报？问题集中体现在：

  1. 系统标准林立，造成设备的共享和资源化障碍重重。应用的建立、调整、提升往往伴随着大量设备的抛弃和新系统的采购，浪费十分严重。
  2. 系统越来越复杂，管理成本急剧增高。
  3. 系统过度配置，大量资源在大多数时候处于沉睡状态；
  4. 系统建设脱离业务实际，片面追求“技术领先”，而事实上由于产品供应商和用户的信息不对称，用户所了解的“技术领先”往往来自于厂商的宣传和包装。

  以上问题的根本，是IT系统建设的ROI（Return Of Investment）。对于ROI的关注，促使用户必须摆脱对技术细节和具体产品的关注，而是将注意力放在业务发展和业务实际需求上，将采购行为从单纯地“技术设备采购”逐渐向“功能服务采购”转变。用户越来越关心“得到什么功能”，“投资是否得到充分利用”；而不是“产品是什么”或“产品的技术构成”。在IT价值链的分工中，用户与供应商在逐渐清晰地明确双方的角色----用户是IT资源的使用者，供应商是IT资源提供者和服务提供者。这样的趋势，迫使整个IT行业从过去忙于建立隐含厂商技术标准壁垒的传统IT系统模式向新型IT应用方式转变。这种新型IT模式的核心，是在开放标准之上的基础架构资源化、设备资源虚拟化、应用系统独立化、IT技术服务化。美国经济分析家David Moschella在1997年即准确地预言了IT行业在2005年前后从以主机系统、PC、网络为核心的增长方式，转换为以内容为核心的增长模式，这个预言正在不折不扣地变成现实。关心应用、关心内容已成为IT使用者的关注焦点，而不是IT系统本身。从世界范围内，我们也可以观察到，越来越多的软件企业正在走向互联网服务、开放源代码。硬件产品正汇聚成为有限的标准，快速走向融合。这充分昭示了未来五年IT行业发生的重大变革，IT产品形态、使用方式和运营管理都将随之发生重大变化，我们将其称之为“IT新时代”。

  华为3Com洞悉世界范围内兴起的IT新时代技术整合浪潮。SOA、网格技术、效用计算、OnDemand等新兴技术和观念，正在深刻地改变着今日IT世界的格局。传统的计算、网络、存储格局，正在打破领域间的壁垒走向融合。这种融合的目标是真正为用户提供资源化、开放标准化、服务化的新型IT应用模式，帮助用户摆脱IT技术的困扰，更多地将注意力关注到业务的运营与增长，从IT投资中得到可持续的回报增长。IP技术作为全球公认的技术最成熟、应用最广泛、发展最迅速、功能最丰富的IT第一标准技术体系，围绕IP进行IT基础架构的整合和重构充分体现了这种必然的融合趋势。

二、存储的历程

  信息或数据在IT系统中，总是必然处于“计算”、“存储”、“传输”三个状态之一。这三个方面也正好对应于整个IT技术的三个基础架构单元----计算、存储和网络。

  传统上，主机系统既负责数据的计算，也在通过文件系统、数据库系统等手段对数据进行逻辑和物理层面的管理。然而，由于历史发展的原因，主流操作系统多达近十种（Windows/Linux/FreeBSD/SCO UNIX/AIX/Solaris/HP-UX/IRIX）、文件系统格式也同样令人眼花缭乱（FAT/NTFS/EXT2/EXT3/JFS/UFS/VxFS/HFS等等）。各种标准和各种版本拥挤在用户的系统环境中，使数据被分割成杂乱分散的“数据孤岛” (data island)，无法在系统间自由流动，自然也就谈不上设备的充分利用和资源共享。

  有鉴于此，从90年代后期，人们开始寻找存储网络化和智能化的方法，希望通过提高存储自身的数据管理能力，独立于主机系统之外，以网络方式连接主机和存储系统，以设备资源透明的方式为计算提供数据服务。从而，将数据管理的职能，从标准混乱、应用负荷沉重的主机中分离出来。从1997年FC协议的标准公布开始，以SAN（存储域网）的建设为代表，IT行业开始了计算与存储分离的探索。

  在这个探索的过程中，人们发现，数据管理的内涵远远超出原先的预想。在完成了简单的RAID管理、存储硬件设备管理的功能后，数据快照、远程复制、NAS文件共享服务、法规遵从等各种数据应用需求应运而生，极大地丰富了数据管理的手段和方法。存储，也从此摆脱了简单的设备角色，获得了以提供数据管理为目的的独立系统地位。因此，存储的本质，是为IT系统提供数据管理服务。在整个IT系统中，存储扮演基础架构的角色。

  在计算与存储分离的实践中，人们逐渐发现，性能、容量这些比较明显易见的存储系统要求，并不是对一个独立存储系统的全部要求，甚至不是主要要求。要达到存储系统独立的数据管理目标，对存储系统的特性有如下几个方面的要求，按照重要性排列分别是：

  1、可靠性 Availability

  数据集中到存储系统中，必然对系统设备的可靠性提出更高的要求。同时需要建立数据备份、容灾系统进行配合，提高数据安全性。

  2、可扩展性 Scalability

  网络时代业务发展的不确定性和数据的高速膨胀，对独立于计算系统之外的存储系统，必然提出高可扩展性的要求。这种扩展性并非是简单的容量扩展，同时还必须包括数据处理能力、数据交换带宽和数据管理功能的扩展。

  3、兼容性 Compatibility

  虽然存储系统已分离于计算系统之外，但今天主机系统对数据的使用方式，仍旧以文件系统、数据库系统为主要手段。存储系统要适应各种主机系统的数据I/O要求，就必须能够兼容各种操作系统、文件系统、数据库系统等各种传统数据管理手段。

  4、可管理性 Management

  支持各种主流的管理协议和管理架构，能够与网络、计算等各种设备统一管理和集中管理，能够在各种复杂的环境中实现方便统一的设备和数据管理功能。

  5、性能 Performance

  能够根据不同应用类型要求，提供带宽、IOPS（IO Per Second,每秒IO操作数）、OPS（Operations Per Second，每秒并发操作数）、ORT（Overall Response Time，总响应时间）等不同指标侧重点的性能服务。高端系统还应能够对系统性能进行动态的扩展和调整。

  6、功能 Function

  各种数据迁移、数据分发、数据版本管理、数据复制、在线扩容等数据管理功能。

  在过去8年以FC协议为主的SAN存储系统建设中，人们逐渐发现FC协议虽然基本解决了传输速度和扩大容量的问题，却难以完全承担起存储系统独立化的重任，表现在以下几个方面：

  1、FC协议发展时间短，投入研究和开发的厂商很少。大部分巨型厂商如IBM、HP、Intel、微软等重要力量均未投入FC的研发和协议推进，仅仅停留在被动使用的角色。这使得FC协议发展缓慢，价格昂贵。在过去8年中，真正商用化的FC协议，仅仅从1GB发展到了4GB，远远落后于IT其他领域（计算、网络）的发展速度。而单位价格却远远高于行业平均水平（FC每端口价格在5000人民币以上，而千兆以太网每端口价格仅在600元左右！）。成本高昂，使得存储产品厂商不得不采用性能功能配置不合理、较差的体系结构来设计产品。典型的就是目前中端产品普遍使用的“双控制器环路结构”。

  2、由于参与核心技术开发的厂商少，使FC协议的完善大大滞后于市场需要。到今天为止，主要的3、4家FC交换机的供应商，仍然无法将各自的FC交换机互联，更不用说级联、堆叠这样的复杂应用。FC的主机通道卡(HBA)、FC交换机、FC存储设备分属不同阵营，加上不同的主机操作系统差异。使FC SAN的建立过程充满了标准冲突，绝大多数部署和管理过FC-SAN的用户都深切体会到FC-SAN的复杂、难以管理和兼容性差。因此，FC SAN无论从设备成本和管理成本上，还是从技术支撑能力看，都很难真正构建起一个支撑整个计算环境的数据平台。

  3、FC协议的设计，是以局域环境SAN为假想使用场景。协议大幅度删减了传输管理、堆叠扩展、传输安全控制、路由、远程传输等网络协议的必须内容，以获得单方面的性能提高。1Gb的传输能力，在1997年，的确创造了一个高效率传输的榜样。但随着网络应用的突飞猛进，广域环境应用、 Internet应用的飞速增长，存储的数据管理从局域环境向广域、跨SAN进化的时候，FC协议暴露出越来越多的缺陷和问题。缺乏行业广泛支持基础的 FC，正面临令牌环、ATM等类似协议同样的尴尬处境。

  4、FC行业的封闭性，使得从业厂商很多将产品视为套牢用户数据的圈套。在用户初次采购设备后，将大量的后续数据管理，如扩容、升级、备份、远程容灾等必然陆续出现的需求作为提款机，限制用户只能在本厂商产品范围内选择。

  因此，存储系统独立于计算系统之外的革命，由于FC协议本身缺陷提供的方便之门和从业厂商的利益最大化导向，并没有很好地达到建立 SAN系统对数据进行统一管理，提高设备整体使用效益的目的。反而，由于产品在功能、结构、兼容性方面的问题，在原本就复杂的IT系统中引进了标准更加杂乱、厂商标准更加封闭、缺乏一致性的又一个IT单元。

  在存储以SAN的名义独立走上IT舞台的同时，IP和以太网技术在网络领域突飞猛进，在同样1997-2005的8年中，主流商用协议标准从10M发展到了10G，整整提升了1000倍，行业的发展动力和技术标准的成熟性已无可争辩。IP技术已经成为整个IT行业中最成熟、最开放、发展最迅速、成本最低、管理最方便的数据通讯方式。在经历了FC-SAN发展的过渡性尝试后，整个行业开始考虑将FC传输技术替代为更加成熟可靠、成本更低的IP技术，以适应广域网数据应用、大规模服务器数据集中、海量数据存储等应用对新一代存储系统的要求，同时为“随需应变”的IT新时代到来，奠定坚实的开放化标准基础。2003年，以IBM等公司共同发起的iSCSI（Internet SCSI）协议，通过IETF组织的审议，公布为RFC标准。iSCSI协议实际就是将标准的SCSI存储访问指令，打包到TCP/IP中进行传输。



  iSCSI标准一经公布，就以其低成本、高可管理性、天然的跨广域数据传输和管理能力、海量组网能力得到了业界的青睐。微软2003年同年，宣布对iSCSI技术的免费支持，所有驱动内置到Windows操作系统，可免费下载。以Intel为代表的业内十多家重量级硬件公司也纷纷宣布支持iSCSI技术。基于iSCSI协议构建的IP存储，已崭露头角，成为新一代存储系统的标准，成为IT新时代围绕IP技术进行的网络与存储融合的标志性技术。

  由于将SCSI数据传输的基础从封闭昂贵的FC协议转移到IP之上，使存储系统突破了长期困扰的兼容性、成本和管理性桎梏，使存储网格、广域数据传输、大规模服务器数据集中、远程容灾、高性能交换式存储架构等存储技术脱下昂贵的外衣，成为广大行业客户均能轻松获得的最新存储技术。