DS3000红皮书笔记

第1章   Disk attachment technology
DS3000在写时最大吞吐量为4Gbps  

与P29 SAS 最大为12Gbps 如何理解？

每根SAS线缆内有4个lane，每个lane是3Gbps，因此最大12Gbps--->SAS线的速率

类似于高速公路设计时速150公里，一辆车的最高时速80公里

SAS线缆就是这条高速公路，而DS3000就是这辆车

 

10Gbps仅用于交换机之间的互联

 

FC拓扑：

支持以下几种拓扑

point-to-point: HBA与storage device之间direct

Arbitrated loop: 用于FC设备之间互联，最多126个设备；使用one-way ring通信，任何时刻只有2个设备能通讯；所有设备共享带宽，因此不适合高性能需求

                    使用FC HUB, 物理上是星形拓扑，逻辑上是环形拓扑

                    这种拓扑现在已很少见

Switched fabric:concurrent data transfers

 

P27

FC协议分为5层：FC0到FC4

▲FC0 is physical layer: cabling , connectors, signalling

▲FC1 is data link layer: encoding and decoding of signals

▲FC2 is network layer and defines the main FC protocols. define frame. and transferred.

▲FC3 is the common services layer.

▲FC4 is application protocol mapping layer. FCP is used to encapsulate SCSI data into FC frame

 

P27

FC cable types:single-mode or multi-mode FC cables

 

Multi-mode: 多个光束能被同时的传播；8Gbps 最远150m；比较常见

Single-mode: 光纤直径比多模的细，连接时的要求高；最远50km，适用于长距离

 

P27

SAS

SAS由传统的并行SCSI(Parallel SCSI)发展而来

SAS用SCSI命令与附属设备通信

 

SAS在全双工下写的速度为3Gbps

 

当SAS设备连接在一起，形成一个SAS Domain，每个设备都有一个唯一的标识，这就是 WWN  (World Wide Name)

WWN与SCSI ID有些相似，但仍有不同之处：

▲SCSI ID只有16个，而SAS 有16256个 

▲SCSI ID在SCSI bus上是唯一的，而WWN在全局中是唯一的

 

P27

SAS expanders

Basically, SAS uses point-to-point serial links

use of SAS expanders,the number of devices in a SAS domain can greatly increase.

▲ Fan-out expanders : maximum of 128 devices

                                A SAS Domain can have only one fan-out expander

▲ Edge expanders : maximum of 128 devices on a single edge expander

                             Edge expanders typically conncet to the fan-out expander

 

SAS使用点对点的串行链路
如果要连接多个SAS设备，则需用到SAS扩充器

一个SAS Domain只能有一个Fan-out expanders, 上面可以连接128个Edge expanders，一个edge expander可以连接128个设备

所以最多可以连接128*128-128＝16256个设备

 

 

一个DS3000可以连接3个EXP3000，扩充到48块硬盘     

 

P28
SAS protocol layers: 4层
物理层The physical layer
链路层The link layer
端口层The port layer
传输层The transport layer

 

P29
SAS wide ports:
每个SAS端口包含4对全双工的线路（通道）
一对通道以3Gbps的速率承载数据，当第一对通道忙，数据溢出时，其它通道来管理溢出的数据

当4对通道都在运载数据时，总的速率为12Gbps

 

P30
SCSI使用的是Loop Topology, 当通信时，数据必须依次过每一个设备，速度慢；当有任何一个设备失败时，引起整个环路问题

SAS使用 Pt-to-Pt Topology; 控制器与设备之间直连，单个设备失败不会影响到整个控制器

 

P30 

1.3 iSCSI disk attachment
iSCSI: 基于以太网和TCP/IP来传输封装的SCSI命令和数据

成本低，适用于部门级

iSCSI也暗示着更低的性能和扩展性
以太网 1Gbps，而SAN 8Gbps

▲iSCSI需要更多的CPU和内存来运行封装；为了增强性能，最好用专用的iSCSI HBA卡来处理封装
▲以太网速度慢 1Gbps

 

 

P31
1.3.1 iSCSI initiators and targets

 

iSCSI initiator 可以是一个 iSCSI HBA卡, 或者是一个通过以太网卡来进行iSCSI stack的软件(例如微软的iSCSI)

 

DS3000只支持 win2003 和 win2008上的Microsoft iSCSI

iSCSI HBA在系统中被归类于存储卡

 

P32

iSCSI naming
iSCSI 的 Initiaor 和 Target 必须有唯一的名字

命名方式：
▲IQN     iSCSI Qualified Name    DS3300使用这种命名
▲EUI     Enterprise Unique Identifier.

 

iSCSI寻址
iSCSI地址主要是用于发现期间

 

P32
1.3.2 iSCSI discovery
Initiator用来查找哪些Target可用的一个过程

static discovery：管理员手工在iSCSI软件或HBA卡里面定义Target的节点名/IP地址/Port等

Queries to known iSCSI servers:Initiator发出一个SendTargets的命令，Target回复这个命令

Queries to an Internet Storage Name Server (iSNS): Target先在iSNS中注册，Initiator发出查询，经授权的会被报告

 

Service Location Protocol (SLP)：
定位iSCSI Target 位置；有三种代理
User agent (UA):工作在client (iSCSI initiator)上，与service (iSCSI target)建立联系
Service agent (SA):运行在iSCSI target上广告服务和容量信息
Directory agent (DA):从iSCSI target上的广告中收集服务信息

 

P33
1.3.3 iSCSI security considerations

SAN不直接面向以太网用户
iSCSI直接使用以太网，易受攻击和闯入

iSCSI connection authentication：认证是可选的，Target可认证Initiator, Initiator也可认证Target；
每一个会话连接都是可以被认证的

 

P34
IP Security (IPSec)
基于packet level来保护数据安全

Transport mode：IP报头(IP header)不会被加密，不会影响路由；而包的其它部分会被加密

Tunnel mode：包含IP报头的整个包被加密，会封装成一个新的IP包
 
IPSec通常用于VPN

 

 

 

第2章   What's New?

P35
Storage Manager V10.35 (controller code Version 07.35 is a non-concurrent upgrade and it must be done offline).
支持:
支持超过2TB logical drives：注意是逻辑设备，要确定OS是否支持超过2T的逻辑设备
RAID 6
超过30个设备来建立RAID 0或RAID 1 ,最大48个
分区数量：7.35支持32个分区； 7.35以前支持16个分区
发生紧急情况时，将诊断数据保存在客户机上

控制器上支持IPV6

支持数量不限的Global Hot Spares.

在不同的DS3000上安全地移动阵列而不丢失数据      P38

 

 

第3章   DS3000 introduction
P41
DS3000系列由 DS3200 ,DS3300, DS3400 和 EXP3000 组成

入门级: DS3000               EXP3000
中间级: DS4000  DS5000   EXP800/5000
企业级: DS6000  DS8000   XIV

 

DS3200 DS3300 DS3400均支持450G SAS 和 1TB SATA 硬盘
最大都能支持48个硬盘

 

各自的主机端口不同：
DS3200: 主机端口使用 SAS     (更低端)
DS3300: 主机端口使用 iSCSI
DS3400: 主机端口使用 FC

P43
DS3000系列中，每个设备可以连接3个扩展柜，每个扩展柜12个硬盘；加上设备自身的12个硬盘，因此，最大为48个硬盘

 

DS3000系列为 2U，包含1个或2个RAID控制器(DS3000系列都有单控和双控之分)，2路冗余电源(每个电源2个风扉作冗余 P44)

EXP3000 为2U，标配1个ESM,另一个为可选件，2路冗余电源（每个电源2个风扇作冗余)

 

注意，DS3000系列中的磁盘安装方向是横向的!!!!!

DS3000系列支持RAID级别有 0 1 3 5 6 10
每一个控制器的cache为512MB,可升级到1GB
每一个控制器有一个cache电池，可支持3天

在双控制器配置中，(从后面看)，左边的是A控制器，右边的是B控制器

P44
DS3000的RAID控制器的端口：

串口Serial Port：用来排错

 

每个DS有2个电源，每个电源有2个风扇，都是相互冗余的

 

P44
3.2.1 DS3200
标准的DS3200 RAID控制器只有一个SAS口；（SAS为3Gbps)

安装DS3200 SAS 2-Port Daughter card 将提供两个额外的端口

 

P45
3.2.2 DS3300
DS3300提供 2个 1Gbps 的 iSCSI口
最多可连接32个主机和16种主机类型

 

P46
3.2.3 DS3400

DS3400也有单控/双控之分   DS3000系列都有单控和双控之分

每个控制器上有 2个 4Gbps 的 FC port   (能运行 2 or 4 Gbps,需要 SFP模块)

 

3.2.4 EXP3000
EXP3000是一个 2U 的 SAS Disk drive enclosure
可插12个SAS 3.5-inch Disk drive

每个DS3000可以连接3个 EXP3000

每个EXP3000有 1个 或 2个 EMS, 2个电源模块(每个电源2个风扉作冗余）

 

Environmental Services Module (ESM)：
一个ESM上有 2个 SAS Port, 分别标为 In 和 Out，
用 In 连接 DS3000 或 另一个 EXP3000的 Out 上        P47上的图很重要

 

EXP3000上只标配 1个 EMS；另一个为可选件
当EXP3000连接到一个双控的DS3000上，则必须安装 2个 ESM

 

 每个EXP3000上有 2个 电源，每个电源上有 2个风扇
 
 当更换坏的电源时，需要在10分钟内完成，否则影响散热效果

 

 EXP3000支持12个450G的 SAS Disk drive，也支持SATA   

 

 P48  这个表有问题，到底是 DS3300还是3200                            ???
DS3300 在升级微码时要做兼容性检查，并且要先升级SM软件

 

P49
DS3000 Parition Expansion License：DS3000系列中，标准配置为4个存储分区，最大32个(需要Parition Expansion License)

DS3000 FlashCopy Expansion License: 这个License用来启用Flashcopy；标准配置：已启动2个FlashCopy；最多为64个
DS3000 VolumeCopy License：最多128个

 

P50

3.4 DS3000 Storage Manager
用来管理DS3000的软件

▲Host server
▲Management station
Out-of-band：也叫直连管理(direct-attached management)
                     管理站点和DS3000的RAID控制器之间使用以太网连接，所有的通信是通过TCP/IP来完成

IN-band：也叫主机附加管理host-attached management.只有DS3400可使用带内管理     P53
               利用主机和DS3000之间的I/O路径 ; 通过 FC/SAS I/O 来通信

 

 

P51
3.4.1 DS3000 Storage Manager components

Storage Manager Client (SMclient)
        Enterprise Management Window (SM的主界面)
        Subsystem Management Window (子管理窗口)
        SMcli command-line interface (命令行窗口)：有几条命令一定要在CLI中才有，在GUI中没有；具体看P749附录C

 

Storage Manager Agent (SMagent)
     可选件；
     SMagent安装在主机上，让SMclient通过主机与DS3000的I/O路径来进行带内管理
     只有DS3400使用带内管理     P53

 

Storage Manager Utility (SMutil)：安装在主机上
     Hot-add utility：在主机上动态的建立一个逻辑盘而且不用重启主机；只能用于windows
     SMdevices utility：关联逻辑设备到设备名；用于windows和Linux
     SMrepassist utility：用来建立 FlashCopy/VolumeCopy image；用于windows

 

P53
Multipath support：
当DS3000为双控时，推荐在主机上安装 2张 HAB卡
Ds3000在windows下的多路径支持叫做 RDAC

DS3000在Linux下不包含多路径支持，RDAC在Linux下叫做MPP

 

P54
3.4.2 Management methods
带内管理 和 带外管理 各有优缺点

 

In-band management：
不需要用到管理 以太网口，也不需要管理TCP/IP

不能配置最大数量的逻辑设备，因为有一个是为了访问逻辑设备而保留的，但并不会出问题，因为所有的客户都能找到最大数量的逻辑设备

只有DS3400可运行带内管理

 

在主机上安装SMagent，让client通过TCP/IP来连接主机，主机通过I/O来连接DS3400

 

缺点：需要一个单独的access logical drive，因此分区数量为允许的最大分区数量减去1个

 

Out-of-band management
在控制器上要配置IP地址，建议其IP地址被单独划开
优势：
不需要一个access logical drive，所以主机上能使用到所有的logical drive
如果I/O路径失败，仍能够通过带外管理访问到DS3000，便于排错，并且几乎有带内管理的所有功能
当带内管理不能使用时(如主机上的SMagent不能用),则可使用带外管理

 

推荐同时使用两种管理方法

 

 

 

第4章   Cabling

P59

 

DS3000可以连接3个EXP3000扩展柜，且controller自动设置enclosure ID
可以改变 enclosure ID；

因为enclosure ID是用来确定硬盘的硬件地址的，所以enclosure 的ID必须唯一

 

enclosure ID默认出厂值是 85
如果要改变它，建议改成 80 或 更高的值 (有些存储子系统不支持低于80的值),有效值为0-99

 

在双控的DS3000中，两个控制器必须有相同的enclosure ID   （每一个机头只有一个ID）
在双ESM的EXP3000中，两个ESM必须有相的enclosure ID    （每一个机柜只有一个ID）

 

P60
4.2 SAS Cabling

SAS线缆是用来连接DS3000和EXP3000的

 

DS3000控制器和EXP3000 ESM都支持 迷你SAS 4x 多通道连接器
DS3000 Controller and EXP3000 ESM all support mini-SAS 4X multilane connectors

 

IBM的SAS线 长度 有 1m 和 3m 两种

 

避免将SAS线拉得过紧
避免与其它可能会损伤SAS线的设备放在一起
避免在线上挂其它重物

 

P61
4.3 EXP3000 attachment
▲ 连接 DS3000上的drive-side SAS port 到 EXP3000上的SAS In 端口上    （EXP3000上外面是IN，中间的是OUT）
▲ 连接 EXP3000上的 SAS Out 端口到下一个 EXP3000的 SAS In 上

 

P62
一个单控的DS3000连接3个单ESM的EXP3000
当有任一个EXP3000故障或者SAS线断掉，则有一些扩展柜将与DS3000失去连接  

 

P62    图4-3很重要
双控制器的DS3000和双ESM的EXP3000

 

在左边使用 top-to-bottom 顺序
右边使用 bottom-to-top 顺序

 

这样可以避免单点失效

 

如果SAS线连接错了，设备将不能工作；会被控制器软硬件检测到，在SM中会有警报日志

▲ 不要把SAS线 连接在DS3000的主机端口上，应该连接在设备端口上
▲ 不要把一个EXP3000的 IN 端口 连接到另一个EXP3000的 IN端口上
▲ 不要把一个EXP3000的 OUT端口 连接到另一个EXP3000的 OUT端口上
▲ 不要在一个单一的EXP3000中将SAS端口互联

 

如果左边和右边都使用 top-to-bottom 的连接方式，
虽然技术上是正确的，但并不是最优化的方法；因为这样没有冗余，
当某一个EXP3000失效后，将导致整个扩展柜与DS3000失去联系

 

P64
每个DS3000 RAID 控制器有一个以太网口，用于带外管理
如果是双控制器，则要能访问到两个控制器的以太网口，否则不能管理扩展柜 

If you have a dual controller DS3000 subsystem, make sure the management workstation can access the management port on each controller. If only one controller is assessable by the management machine, the DS3000 Storage Manager will not be able to manage the enclosure.

 

强烈建议使用一个专用的LAN地址段来做带外管理
为安全起见，为DS3000设置密码

 

P64
主机使用 SAS HBA卡 来连接DS3200

一个DS3200控制器最多提供3个SAS主机端口

当主机使用双HBA卡时，一个双控DS3200可以接3台主机
当主机使用单HBA卡时，一个双控DS3200可以接6台主机(因为没有冗余性，所以不推荐此方法)

 

P64
DS3300 — iSCSI
只要将DS3300连接到以太网交换机，主机也连接到以太网交换机中即可

 

P65
DS3400-Fibre Channel

DS3400每控制器有2个FC端口，可直连两台主机；或连接到SAN网络中

 

需要在每一个FC端口上安装一个SFP模块，用来转换光电信号

先移除FC线，再移除SFP模块

DS3400只支持短波SFP模块(short wave SFP module)，不支持长波SFP模块

 

P67

Direct-attached DS3400

主机上安装两块 FC HBA卡，分别连到DS3400的两个控制器中，这种冗余适合集群服务器

 

Switch-attached Ds3400

1.使用一台SAN交换机，主机的双FC HBA卡连接到 SAN交换机，DS3400两个控制器上的共4个FC端口也连到交换机上

  这个SAN交换机必须划分zone

2.使用两个SAN交换机，每台主机的一块FC HBA卡连接到A交换上，另一块FC HBA卡连接到B交换机上

  DS3400的每个控制器上的两个FC口分别连接到两台SAN交换机上    P69

 

P69
4.6 Power cabling
为保险起见，将DS3000的每一个电源线接到不同的电源中

 

P70
4.7 DS3000 Front and Power LEDs

Power LEDs
- DC power LED (Green) 灯亮时说明DC电源被打开
- OK to remove LED (Blue) 灯亮时可以安全的移除电源
- Fault LED (amber) 灯亮时说明风扇失效或者另一个冗余电源没有打开
- AC power LED (Green) AC电源接通

 

Front Panel LEDs
- Power-on LED (Green) 灯亮 电源打开
- System locator LED (Blue) 灯亮时，SM软件在查找DS3000
– Over temperature LED (amber)  温度太高时亮起
– System error LED (amber) 灯亮时，有错误发生，如电源，控制器 或 硬盘
– Hard disk drive activity LED (green) 每个硬盘都有此灯，灯闪时，硬盘在活动
– Hard disk drive status LED (amber) 每个硬盘都有此灯，长亮时，硬盘失效；灯闪时，硬盘在识别或重建一个活动

 

P71
打开电源顺序
1.SAN交换机
2.EXP3000扩展柜：可能要花几分钟
3.DS3000：当配置大时，可能要花10分钟才能完全起动
4.Host server

 

如果没有安装任何磁盘，则不要打开DS3000电源，否则可能会出现a new Feature Enable Identifier (FEI) will be generated

 

关机顺序的倒序，如果主机不能关机，则先卸载逻辑盘

关主机--->关DS3000--->关扩展柜--->关SAN交换机 

 

 

 

第5章   Basic hardware configuration 

P75
DS3000 subsystems support RAID levels 0, 1, 3, 5, 6, and 10.

 

RAID 1 is a mirrored set without parity

 

RAID 3 用一块专用盘来存放校验
RAID 3 突破 RAID1 的两块盘限制，利用率为 (N-1)/N
RAID 3 在校验盘上存在瓶颈，因为每一次写操作，都需要重新计算校验和更新检验
RAID 3 已经很少使用 (RAID3 is rarely used)

 

RAID 6 is a striped set with dual distributed parity,

RAID 6 is slower than RAID 5, but may be faster in random reads thanks to the spreading of data over one more disks.

 

RAID 10就是RAID 1+0
RAID 10 可以扩展镜像到4个或更多的磁盘上
RAID 10 提供极好的数据可用性，唯一的缺点就是只有50%的磁盘利用率
RAID 10 is also known as RAID 1 + 0.
RAID 10 is a way to expand mirroring onto four or more disk drives.
RAID 10 provides excellent data availability.The only drawback is that the usable capacity is only 50% of total storage capacity.

 

主机将逻辑设备看作是物理设备

一般的，除了集群之外，一个逻辑设备只分配给一台主机

 

Segment size：
8-512KB之间
虽然segment size大小可以修改，但最好在创建逻辑设备之前就决定segment size的大小

 

SM set a default block size to 64KB
数据库的block size设为32--128KB之间较合适
大的文件环境中(如流媒体或CAD;),推荐block size 大于128KB
web server or file and print server，设置为16-64KB之间

 

P81

Enclosure loss protection

只有RAID 1 3 5 10 能够被Enclosure loss protection 

 

当阵列中有磁盘失效后，阵列会降级，直到失效的磁盘被替换且在新的磁盘上完成重新构造

 

为了增强可用性，强烈推荐使用Hot spare drive
正常情况下，Hot spare drive不参与阵列
当阵列中有盘失效，Hot Spare将自动的使用一个替换盘来立即重新重建数据
当重建完成后，阵列将从降级模式回到正常状态
Host spare也将成为阵列中的成员

 

要考虑到Hot spare盘的大小要足够大

自动分配Hot spare只适用于未配置的存储

  

Storage Partitioning: 除集群外，一个逻辑设备只属于一个主机

DS3000中标配为4个分区，最大32个(需parition expansion license)   P49/83

 

P84
SM可以安装在:
    Windows Server 2003/2008 (32-bit and 64-bit versions)
    Linux 2.6 kernel
    IBM AIX V6.1

 

P93
DS3000的控制器先尝试从DHCP获得IP地址，如果失败，则使用默认的IP地址
– 192.168.128.101 for the first controller.
– 192.168.128.102 for the second controller.

 

P96  SM的Tools

5.4.2 Renaming the storage subsystem
如果已有主机使用逻辑设备，此不应该可变存储子系统名称；因为有些OS使用子系统名 来识别

5.4.3 Setting a storage subsystem password
默认没有密码

 

5.4.4 (Optional) Viewing and enabling Premium Features
要求firmware在v6.70.23.00以上

 

P100
5.4.5 (Optional) Changing the network configuration

Tools > Configure Ethernet Managemant Ports
在模拟器中没有看到此项

 

P102
删除一个子系统
右键--->Remove

 

 

第6章   Installing IBM System Storage DS3000 Storage Manager
P105   安装时，推荐使用custom定制安装，可以看到哪些组件被安装

 

P114
6.2 安装SM on Linux
需要单独安装 RDAC包

 

tar xzvf ibm_sw_xxx.tgz
./SMIA-LINUX-xx.xx.bin -?    查看安装帮助

 

P115
6.2.2 在LINUX下用GUI安装SM
与windows下雷同

 

P120
6.2.3   Linux下使用CLI安装SM

#sh SMIA-LINUX-xx.xx.bin -i console  使用-i console选项