分类： 服务器与存储
2008-07-26 11:44:36
前言：中小企业为了满足存储需求，是否应该转到SAN架构？SAN无疑有优点，但是省下来的资金和人力成本是否足够多呢？
随着技术革新及用户需求的变化，大型IT公司的IT运行方式有所变化。这些变化也逐渐影响了中小企业。主要表现在下面几个方面：
面临着来自新业务环境的压力也是同样存在的，中小企业的 IT部门也经常把三到四台集成起来完成一件特定的任务（例如，Windows域控制器为台式机和移动PC提供文件，打印服务，以及单一的登陆服务；还有建立Linux Web， Linux或者Windows邮件。）
在新的IT环境中，使得成本增加明显的是数据存储。随着硬盘的容量增长迅猛，但这存储成本并没有随之节省了。传统的方法是在每一个主机上配置专用的基于SCSI的存储设备，这似乎可以满足数据安全性的需要，但不省钱。实际上，目前的存储实现方法将使得成本急剧上升。
主动－主动的控制器配置在SuSE Linux和Windows Server 2003的效果不同， 对于nStor 4520F系统，每个控制器对应一个阵列，两种操作系统均认出每个逻辑阵列的两个卷。在Linux中，可以访问第二个映像，而 Windows Server 2003则阻止访问第二个映象。从管理的角度看，这个方法简化了管理员的工作，但是在不重启动的情况下，就无法进行失效切换。
存储成本的增加，使得IT人员使用RAID阵列来提高数据安全性的做法越来越不经济。虽然RAID 阵列提供了数学意义上的保证，来消除单点故障，RAID策略需要采用多个硬盘驱动器，这就增加了成本，因为需要维护奇偶位，使用冗余硬盘作为备用，也需要硬盘的副本作为镜像集合。（例如，RAID-10和RAID-50配置）
除了增加成本之外，多数站点通过昂贵的集成了板内缓存和电池备份的RAID控制器，来实现RAID功能。更糟的是， RAID性能的优化是通过提高硬盘的数目进行的，单考虑性能，硬盘容量是无关的。这就使得大容量硬盘变得有点浪费，而无法节省开销。
在大型企业数据中心，总硬盘存储容量以terabytes字节计，存储容量节省下来的效果比SMB网站更可观，所以，在基于光纤通道的SAN中，对物理硬盘实现存储虚拟化，这对大企业特别有吸引力。
虽然早期SAN的成本和复杂性很高，大企业中所用到的存储容量从经济上看是划算的。
如今，随着技术的革新和价格的下降，就像大企业购得起第一代的SAN一样，中小企业也有机会购买SAN设备了。技术革新推出了容量为200GB的硬盘，这就使得中小企业有机会实现SAN方案了，这些硬盘很容易构建 terabyte数量级的RAID阵列。虽然只有少数中小企业需要terabyte数量级的存储容量，不少SMB站点 发现总体存储容量正在快速转向terabyte数量级。
如今的大容量硬盘仅仅只是让企业有机会降低成本，但并不等于在SMB环境中配置了SAN，就一定能够保证对硬盘的利用率是经济的。对于传统的SAN拓扑结构的维护和配置，其相应的费用较高，如果对于中小企业来说，也采用同样的方案，运营费用也降不下来。
随着技术进步，SAN在其整个生命周期中的配置和管理均得到简化，所以，在中小企业，对于配置SAN的看法开始转变。
我们强调“开始转变”，因为在构建光纤通道SAN中的不少费用，同诸如以太网这样的技术相比，价格仍然居高不下。
在传统的“不包括电池”这样的角度看，SAN交换机端口和不少SAN设备没有同光纤电缆直接连接的接口，这个表面上的疏忽实质上是交换机可以用于各种类型的不同波长和不同模式的光纤电缆。这些差异就是SAN的连接距离最大可达到 120公里。结果是，交换机端口设计成“通用的”，且需要价格为200到300美元的SFP收发器，把光纤电缆连接到交换机。
在SMB中设置SAN时，我们主要关注的是先配置一个基本的可以正常工作的SAN架构，然后再扩展该架构。 目标用户应该是一个没有SAN设计和管理经验的系统管理员。
目标环境由三台运行不同操作系统的构成，SuSE Linux Professional version 9和Windows Server 2003。我们的计划是要求每台通过共享集中化的RAID存储系统，可访问多个逻辑硬盘分区。我们测试SMB的环境是需要提供全天候24小时，每周7天能够访问到所有的系统。
对于那些不熟悉SAN的人来说，重要的是知道处于低层的物理设备是 RAID阵列，通过阵列为每台提供其对应的分区集。 这与通过NFS或者CIFS来共享文件系统是不一样的。
一旦打开了Brocade的WebTools，就会出现管理界面，其中网络中的所有的交换机的架构树图标就会展示出来，同时也包括管理功能菜单。点击一个交换机图标，就会实时显示出该交换机的状态，包括状态灯。通过交换机的实时视图，管理员可以打开属性页来管理交换机，包括授权序列号。
SAN中的存储设备没有内置智能化的功能，来支持文件共享功能。文件共享的所有细节都是由操作系统来处理的。目前，带有对应文件系统的Linux或者Windows都无法支持SAN中的存储设备。实际上，从SAN架构中进行任何一项简单的路径错误的恢复工作，更多的表现为外在的，伤筋动骨的事件，而不是透明的事件。
我们使用三种建立了测试环境。两台基于 Intel Xeon的，带有PCI-X扩展槽： HP ProLiant ML 350 G3和Appro 2400Xi。每台都安装了Emulex LightPulse 9802 Fibre Channel主机总线适配器（host bus adapter，简称HBA），支持最大可达133MHz的 PCI-X。我们的第三台是Dell的PowerEdge 2400，带有Intel Pentium-III CPU和 64位 66MHz PCI槽。为了同SAN连接，该安装了Emulex LightPulse 9002 HBA。
我们的SAN中的共享硬盘存储是由nStor 4520F Series硬盘阵列来处理的，4520F带有两个RAID 控制器，以主动－主动的方式配置的。每个控制器配置了一个 600MHz的 Intel RISC芯片，且包含1GB缓存，板内电池备份卡，以及两个SAN端口。
结果是，SAN拓扑结构可由多达4个连接到nStor 阵列的交换机来配置。这就为系统管理员提供了很多的灵活性，以便优化连接到的 I/O传输。重要的是，这样的配置消除了硬盘控制器出现单点故障的可能性。无论如何，在每台上，对硬盘配置的复杂性有所增加。nStor 系统所表现出来的每个逻辑硬盘单元将出现多次，每次nStor SAN连接时就出现一次。
最初我们采用了四个Hitachi UltraStar Fibre Channel硬盘和四个Seagate Cheetah Fibre Channel硬盘，来建立nStor系统，这些硬盘被格式化成两个独立的RAID-0阵列，总存储容量接近1TB。之后，我们在每个阵列上创建了三个逻辑单元分区 (LUN)，每台可以从每个阵列访问一个LUN。
为了实现nStor 阵列的主动－主动的双控制器配置所提供的容错功能，我们为SAN架构选择了一个基本的双交换机拓扑。由于连接到我们的SMB SAN环境中的设备数量不多，一个8端口的 Brocade SilkWorm 3200交换机足够支持目前的架构。但是，单交换机拓扑将使得交换机具有单点脆弱性，且无法提供24×7可用性的目标。 在我们的测试SMB环境中一旦有这些要求，就需要一个关键的评估要求，即迅速建立一个初始的两交换机架构并正常运行。
Emulex HBA和Brocade交换机的安装相对快速和简单，但是一旦有了测试要求，安装就需要多试几次。
由于我们的操作系统中有HBA驱动程序，所以在Windows Server 2003和 Linux中安装HBA很顺利。 在Linux中有点不同的是需要编译驱动程序源代码，并重建内核。这是不少小站点为了避免麻烦而采取的措施。然而，SuSE Linux 中的Emulex LightPulse模块并不是万能的。
Emulex对其的设计极为严格，Emulex把其驱动模块注册为控制Fibre Channel 接口而非硬盘控制器，结果是SuSE Linux并没有自动在 initrd 中包含Emulex驱动模块，这种做法对于熟练的Linux管理员来说是显然的：假如已经安装了基于SAN的硬盘，系统重启动将会失败。这是因为启动时系统运行 fsck，检查/etc/fstab中列出的每个硬盘，而Emulex驱动程序在启动时并不加载。解决的方法也是简单的：在 /etc/sysconfig/kernel 中添加Emulex模块，之后运行 mk_initrd，后者可以容易地使用YaST2完成。仍然有个问题：对于转向Linux的SMB网站来说，这样做是否过于复杂？
类似的，对于系统管理员来说，使用Brocade交换机需要使用专用的串行电缆，需要使用telnet和命名行接口。当建立 Brocade交换机时，系统管理员将会发现没有NAS应用中常用的简单的网络发现机制。
一旦所有的SilkWorm交换机被赋予合适的网络地址，可以使用 Brocade的WebTools，以可视化方式进行管理和监控， WebTools是驻留在单个交换机中的基于Java的Web应用程序。这些交换机可以通过以太网以out-of-band方式访问，或者通过基于光纤通道的IP协议以in-band方式访问，后者是通过具有以太网连接的主交换机进行的。
Brocade的 WebTools的文档中介绍了运行该应用程序需要支持Java的浏览器；正式的系统需求是在 Windows平台上运行Internet Explorer，在Solaris平台上使用Netscape Navigator浏览器。此时Java的老问题再次出现：编译一次，调试多次。所以当一些 Java applets在SuSE Linux 9.0的Mozilla 上运行出现故障时，我们并不感到惊奇。幸运地是，虽然加载Java classes时速度较慢，我们可以在SuSE上使用Konqueror来运行。
我们使用了Brocade的WebTools的性能检测功能，来演示一下ISL干线合并（ISL trunking）的效果。在 Dell上我们安装了一个LUN，其是由连接不同的交换机上的初始控制器来提供服务的。当我们使用64KB I/O来运行oblFileLoad时，峰值传输速度为188MBps（8个硬盘阵列），当打开干线合并功能时，数据传输通过端口 6和7进行，这就形成了连接到nStor阵列的交换机的ISL干线合并，数据传输的平衡效果很好。
WebTools 提供了直观的界面，来管理整个架构和配置单个交换机的属性，诸如IP地址，交换机名称，简单网络管理协议（Simple Network Management Protocol，简称SNMP）设置。使用WebTools，管理员可以识别出连接到架构中的设备，升级交换机的固件，管理授权序列号，以便使用可选功能。
传统的SAN拓扑是每个交换机之间相互连接成网状结构，这样的安排可以使得在发送设备到目标设备之间传输数据时，在交换机之间的数据包的转跳数达到最小。
nStor的StorView可提供可一个直观的，易用的界面。所有系统组件中的重要状态信息可以容易地获得，同时进行详细的管理和配置也是小菜一碟。
在SAN中配置ISL可以减少拆东墙补西墙的问题。系统管理员必须决定交换机中要保留多少用于数据连接的端口，以及多少端口用于连接其他交换机。这个决定定义了“注册比例”，即用于连接设备的总端口数同用于创建ISL所使用的总端口数之比。在一个8口交换机中，保留6个端口用于设备连接，2个端口用于ISL，其注册比例为3比1，这个数字被认为是性能良好的。
不幸的是，对于SAN来说，规则并不是显而易见的。在两个交换机之间简单地连接一组端口，并不能自动地把产生一个高带宽的逻辑连接。 多数数据传输在端口到端口的流动过程中将不可避免地降低速度，形成瓶颈。为了防止这种现象的发生，Brocade交换机中提供了可实现特定的干线合并的固件，以便在相邻的端口集合中实现负载平衡，以便形成单一的逻辑干线。这个能够提供负载平衡的干线合并功能，并不便宜。本中，Brocade交换机添加了合并功能，价格就增加了$3,800美元，使得交换机总体上的开销达到 $10,000美元。 (编者：该测评是在今年三月进行的，反映的是当时的市场价。）
一旦我们的架构开始工作了，就可转向存储阵列的配置。nStor系统的建立过程可以独立于SAN，以传统方式进行：用一根串行电缆连接，运行VT100终端仿真程序。更为有趣的是，nStor的基于主机的客户／StorView，可以运行在 Linux和Windows两种平台上。
StorView模块作为后台进程运行。其任务之一是在in-band (Fibre Channel)和out-of-band (LAN)连接方式下，使用multi-casting技术，来自动发现所有已经安装的nStor存储系统。为了同StorView GUI进行通信，组件使用了Apache 2.0，我们把Apache 2.0安装在Windows上。除非IIS正在监听端口 9292，否则Apache不会同现有的IIS发生冲突。结果是，管理员可在能够访问到nStor server的任何系统上运行StorViewde GUI。
LUN映射是SAN管理员的重要工作，为简化这一工作， StorView为管理员提供了SAN中发现的每个HBA的唯一的WWN。为了识别WWN对应的物理和HBA，管理员可以使用 Brocade的 WebTools。架构名称列出连接到整个架构的任何交换机端口的每个initiator 的WWN（诸如Emulex LightPulse HBA)，以及每个目标设备 (诸如 nStor Wahoo控制器）的WWN。
高端系统中需要的任何RAID管理功能都可以在 StorView找到。所有的高端RAID级别，包括RAID 10和 RAID 50（并不是所有的基于主机的控制器都支持）StorView也支持。诸如阵列，LUN和HBA这样的存储对象可赋予用户友好的名称。更为重要的是，对于数据快速增长的站点，可以使用任何可用的空余空间来扩展任何现有的LUN。
使用光纤通道环路来连接硬盘，可以使得 nStor存储系统配置为多达64个阵列，每个阵列16个硬盘 。而且，硬盘的容量没有限制。然而，LUN的数量有限制：512。另外，32位的寻址极限限制了每个LUN的最大存储容量，为2,198GB。
SAN中的LUN管理存在一个缺点，如果没有干预，每个系统将会多次看见每个LUN－存储系统和架构之间的每次物理连接之后，就会看见一次。配置了双端口的nStor Wahoo控制器之后，nStor 4520系统上创建的每个LUN将会出现四次。在我们的SMB测试场景中，我们仅用了两个交换机，采用了优化的拓扑方法，即把每个控制器的一个端口连接到不同的交换机。 这样配置之后，一旦架构中有一个端口，控制器或者交换机出现故障，我们可以恢复。
但是，如果管理员使用的操作系统对SAN的支持不够好，SAN的这种出错恢复功能，就会引起严重的配置问题。Windows Server 2003和Linux都属此类。局部地，Windows Server 2003和Linux将会看到可以访问到任何LUN的所有映象。但是Windows Server 2003处理这些映象的方式不同于Linux。 一旦安装和格式化了其中的一个映象，在打算访问其他映象时，操作系统就产生一个系统错误。在Linux中不存在这个机制，系统管理员在理论上可以安装任何映象。实际上，这是个坏主意。
