Chinaunix首页 | 论坛 | 博客
  • 博客访问: 11677248
  • 博文数量: 8065
  • 博客积分: 10002
  • 博客等级: 中将
  • 技术积分: 96708
  • 用 户 组: 普通用户
  • 注册时间: 2008-04-16 17:06
文章分类

全部博文(8065)

文章存档

2008年(8065)

分类: 服务器与存储

2008-05-07 13:27:20

注:本文为“存储网络英雄争霸赛”一等奖文章

    摘要:本文根据构建和管理存储基础网络时存在的问题,通过对存储网络发展趋势的分析和总结,提出了关于存储基础网络在技术发展方面的一些思考和建议。

    一、存储基础网络的发展趋势

    存储基础网络是用来在局域或广域的范围内将计算机主机、服务器和存储设备连接起来进行数据访问和通信的网络,它包括专用的 SAN 和通用的 IP 网络基础设施,用来为应用系统访问网络上分布的存储设备提供数据的传输通道和基本的网络服务。

    存储基础网络不同于普通局域网络或广域网络。传统网络使用 TCP/IP 协议在计算机之间、计算机与服务器之间和服务器与服务器之间建立网络连接,进行基于应用的数据通信;存储基础网络主要使用 SCSI 、 FCP 等传输协议在计算机与存储之间、服务器与存储之间甚至存储与存储之间建立网络连接,进行基于块的数据传输,它使应用系统可以直接访问存储,并获得最大的数据传输能力,当存储网络需要向远程和分布式存储拓展时,它也会在低层使用 TCP/IP 协议来传输 SCSI 、 iSCSI 或 FCP 协议数据包来克服传统 SAN 网络在距离上的限制。

    正因为存储基础网络在技术上有着自己的特点,因此它的发展趋势也有别于传统网络,但又与传统网络的技术发展息息相关。

    随着存储网络的发展和市场对存储需求的不断增长,我们认为存储基础网络的发展趋势如下,其中许多是已经出现并变得越来越重要的技术:

    1. 支持多种协议。多协议支持是在存储网络之间进行连接的基础,通过软件升级将新的协议插件增加到已有的硬件环境中,使用户不需要购买新的设备就能将存储基础网络升级到新的协议集或版本。

    2. 在不同的存储网络之间互连互通。随着投入运行的存储孤岛网络的增加,以及正在建设或计划建设的大型存储系统的增多,企业需要充分利用现有的软硬件资源,将这些已经投入运行的存储孤岛连接起来,或整合到新建的存储系统中,纳入统一的管理和应用,同时在更广阔的范围考虑大型存储系统之间的远程互连,进行信息的交互和共享,这都需要存储基础网络为用户提供轻松互连、灵活管理的手段和能力。

    3. 模块化和刀片化。存储网络设备将按照一个统一的标准进行模块化生产,甚至不同厂家的模块也能互换,另外,这些模块能被集成到刀片式服务器中,使刀片服务器成为一种廉价的、功能强大的存储设备,为小型企业或特殊应用提供低成本的解决方案。

    4. 更高的安全性,和更易于管理、实施的存储网络安全策略。在今后将可以利用更多的网络安全技术,但网络安全的管理将变得更加简单和易于操作。

    5. 存储网络虚拟化技术臻于完善。存储系统将在存储网络设备一级提供更好更灵活的虚拟化技术,如 VSAN ,通道虚拟化、设备虚拟化,虚拟化技术将带来更好的安全性、更好的设备和通道利用率,并提高系统的扩展能力和故障恢复能力,同时也为实现更先进的管理提供方便。

    6. 更加智能的存储网络管理。存储系统的管理将采用更统一的、分层的管理平台来实现从硬件到软件的智能管理,实现设备的即插即用,复杂的人工配置、参数调整工作都将得到简化。

    7. 可靠且更加稳定。存储基础网络将从组件模块化、硬件冗余、故障在线检测、预测报警等多个方面提高网络系统的稳定性,且在一定程度上实现故障的自动恢复。

    二、在构建和管理存储基础网络时面临的问题

    用户在构建和管理存储基础网络时将会面对这样一些主要问题:

    1. 当一个存储项目立项后,存储网络的设计者虽然明确了用户的需求,但是也为项目的投资和用户的某些特殊要求所限制,难点是:如何确定一个方案,既完全满足系统的各项技术指标,又能够不超出预算,还能为系统预留一定的扩展能力?使系统能够在未来轻松地扩展和升级,当业务发展时,满足用户对存储容量、带宽和系统互连的进一步需求。

    2. 当一个方案确定后,如何轻松地连接和配置存储网络设备,并验证所设计的方案是否达到了预期的目标?通过验证找出方案设计的不足或设计问题,使系统在投入运行前就能规避可能出现的设计问题。

    3. 在存储系统的关键领域或存储网络的关键环节,如何验证和仿真存储基础网络在故障检测、故障恢复和应急方面是否达到了设计目标,保证在出现故障的情况下存储系统能够不间断工作(或按要求迅速恢复工作)。

    4. 在系统运行过程中,如何更轻松地管理和配置存储基础网络,以实现基于用户或应用的变更管理,如用户权限的变更,通道带宽或 VSAN 带宽的动态分配等。

    5. 如何将一个现有的存储网络系统分步骤升级到新的核心和架构,而不必担心升级过程中应用的中断、设备的连通性和技术的兼容性,同时又能将旧设备充分地应用在新的系统中,无论是应用在局部还是边缘?

    三、现有解决方案的优点和缺点

    在现有的解决方案中,我们看到它们已经在积极地向智能化的方向发展,并提供了如下一些措施来降低实施存储基础网络的难度:

    1. 为用户和设计人员提供专业、系统的培训。

    2. 提供方案库,针对不同的应用提供方案设计参考。

    3. 提供图形化和表格化的管理配置工具,为用户形象地描绘系统的网络拓扑、设备及参数设置情况,并通过设计良好的人机界面操作和管理存储网络,提高了工作效率。 

    虽然不同的厂家在这些方面做了不少工作,但存储网络的专业性,依然使用户在设计和使用存储基础网络的过程中面临许多困难:

    1. 专业、系统的培训需要花费较长的时间,企业希望能在较短的时间中培养较多的技术人才,使存储项目能够尽快上马并运转起来。

    2. 文档形式的设计方案库虽然可为设计人员提供大量的参考,但要从中总结出设计的原则和方法也需要较多的时间和精力,而且即使参考大量的方案,针对特定的案例,也不一定能设计出较好的方案。

    3. 常见的图形化管理配置工具可以让管理人员方便直观地了解存储网络系统的各种信息,并获得一些运行过程的分析统计数据,但由于缺乏整个系统的动态模型,因此用户不易获得系统的动态信息,难以对系统设计、运行状况进行评估和优化。

    四、关于技术发展的一些思考

    技术的发展除了要在技术本身(如先进性、可用性、稳定性和安全性)上面下工夫外,还要在用户友好、易用等多个方面下功夫。总而言之,技术的发展首先是解决在相应领域的应用问题,使产品能够满足用户的需求,其次是解决在实际使用中的问题,使产品好用、易用、便于扩展和充满灵活性。

    1. 随着存储系统在一些新的领域变得越来越举足轻重,如视音频处理、广播电视、音像资料库,这些应用更强烈地要求在块级( block level )对数据进行操作以提高存储性能,它们对存储网络在架构、性能和灵活性方面的要求越来越高,因此越来越多地采用一些新的技术来解决实际问题,如 iSCSI 、 DAFS 和 InfiniBand ,也就是说要求存储网络设备能支持大多数协议,并且能够灵活扩展。今后的存储网络设备将标准化协议支持接口,使设备增加一种协议就像安装一个软件插件一样方便,而且还可以在一个控制台上实现网络中所有设备的升级和启用。

    2. 存储系统是一个综合系统,包括存储基础网络的硬件和支撑软件,也包括存储设备、用于管理存储设备的服务器及存储管理软件等部分,因此今后的存储系统在整体上将变得更加统一、协调,但在体系结构上严格的分层隔离。这样,存储应用系统将只关注于应用层的逻辑实体,运行在由系统层和物理层提供的平台上,而不必关心底层物理设备的具体实现方式;同理,在虚拟化技术的支持下,系统层也只关注于相应的虚拟实体(系统对象模型),通过更低层的设备支撑管理软件对物理层的设备、网络进行监控和配置,管理设备的变更,收集系统运行信息并进行综合统计,实时调整和优化系统。而底层的物理设备与设备支撑管理软件也应该以一种“即插即用”的方式嵌入到系统层中来实现它的功能。

    3. 在分层的存储系统模型下,实现自顶至下的系统配置和动态参数调整,以简化系统的管理和优化系统的性能。例如在存储网络中,使用了多种网络安全技术来实现存储的安全,其中一些技术通过软件来实现,一些通过硬件来实现(例如硬件分区技术“ hard zoning ”, VSAN 技术),技术的发展将会把这些安全设置整合到一起,在存储系统一级进行统一管理,在线变更安全设置并应用到整个存储网络的硬件和软件系统中,使存储网络的管理就像管理一台计算机系统一样简单。

    4. 依于分层的模型,存储系统可以在线检测新增或移除的网络设备,设置参数,实时收集网络设备的运行状态、通道的数据流量,以及 VSAN 的状态、流量、数据通路的情况,进行综合统计分析,建立系统运行的动态模型,以动态图示或统计图表的方式为管理人员提供系统的实时动态信息,按一定的规则自动或手工对系统进行优化。例如,根据统计数据动态地调整设备参数,使设备工作在最佳状态;在不破坏安全性的前提下,根据各个 VSAN 的数据流量,动态地分配物理通道,保持网络系统的负载平衡。

    5. 以实时动态系统收集的数据和分析统计的结果为基础,依于专业的知识,建立存储基础网络专家系统,为方案设计、设备参数配置、性能调整提供最有效的帮助和参考。用户只需在向导中将用户需求、技术要求以选择、填空和表格的形式输入到专家系统中,系统将自动分析输入的信息,为用户生成一份或多份设计参考,用户可修改、调整生成的方案设计,或将方案引入到仿真系统中进行评估;专家系统提供图形用户界面帮助用户浏览和修改系统的网络拓扑结构、逻辑结构和设备参数信息。

    6. 在专家系统的基础上建立运行仿真系统,可在存储模型的各个层面局部或全面地仿真存储网络。例如对网络拓扑、存储管理、性能、安全、拥塞和故障进行仿真,并以图标或统计图表的方式显示仿真结果。仿真系统可直接将专家系统生成的设计方案转换为仿真模型,也可人工生成该模型;仿真系统集成了专家系统的知识库、设备库、运行库和软件系统库,用户只需从图形化的设备库中选择合适的设备,再从设备支持的模块列表中选择模块,用连线将设备端口连接起来,便能生成网络拓扑;系统自动检查端口之间的可连通性,并显示布线的最远距离和可选线型。当需要仿真时,将用于仿真应用系统和存储设备的数据模型插入测试点,便可获得系统初步的运行统计信息,帮助用户评估方案和参数的优劣,发现设计的问题和性能瓶颈。当真正的存储网络建设完成后,还可将仿真模型引入运行系统,完成设备的自动配置和初始化,并在真实的环境中获得实际的运行统计信息,并刷新专家系统的知识库。

    7. 在分层的存储模型中,可实现基于网络设备的数据镜像和备份业务,减轻服务器的工作压力。备份服务器只需向底层“智能化的”网络设备发送控制命令并监督任务的执行情况,而不必实际操作存储设备中的数据。

    8. 存储网络设备向模块化、刀片化方向的发展,将会在硬件模块中集成更多的重要功能,结果是不但提高了存储基础网络的性能和安全性,降低了服务器处理数据的压力,还将满足更多特殊行业的需求。例如在数据收发模块中集成数据加密和压缩服务,那么只有使用匹配模块的节点之间才能正常连接,适用于军事等高密级的要求;又如,在网络硬件模块中集成视音频编解码、格式转换和处理能力,可满足广播电视领域的需要,充分利用网络的带宽,处理并传输从流媒体、标清( SDTV )到高清( HDTV )的视音频数据。

    9. 模块化和多协议的支持,也将促进存储网络设备在架构、功能和接口上逐渐遵循统一的标准,使不同厂商的物理设备不但可以互连互通,而且可以工作在同一个网络存储系统中;专家系统也将在用户升级或扩展存储网络的过程中,为用户提供最好的帮助,以解决因采用了不同厂商的物理设备而引起的连通性和兼容性问题。

阅读(964) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~