分类: 服务器与存储
2010-09-15 18:33:12
iSCSI HBA在系统中被归类于存储卡
P32
iSCSI naming
iSCSI 的 Initiaor 和 Target 必须有唯一的名字
命名方式:
▲IQN
▲EUI
iSCSI寻址
iSCSI地址主要是用于发现期间,端口3260
P32
1.3.2 iSCSI discovery
Initiator用来查找哪些Target可用的一个过程
static discovery:管理员手工在iSCSI软件或HBA卡里面定义Target的节点名/IP地址/Port等
Queries to known iSCSI servers:Initiator发出一个SendTargets的命令,Target回复这个命令
Queries to an Internet Storage Name Server (iSNS): Target先在iSNS中注册,Initiator发出查询,经授权的会被报告
Service Location Protocol (SLP):
定位iSCSI Target 位置;有三种代理
User agent (UA):工作在client (iSCSI initiator)上,与service (iSCSI target)建立联系
Service agent (SA):运行在iSCSI target上广告服务和容量信息
Directory agent (DA):从iSCSI target上的广告中收集服务信息
P33
1.3.3 iSCSI security considerations
SAN不直接面向以太网用户
iSCSI直接使用以太网,易受攻击和闯入
iSCSI connection authentication:认证是可选的,Target可认证Initiator, Initiator也可认证Target;
每一个会话连接都是可以被认证的
P34
IP Security (IPSec)
基于packet level来保护数据安全
Transport mode:IP报头(IP header)不会被加密,不会影响路由;而包的其它部分会被加密
Tunnel mode:包含IP报头的整个包被加密,会封装成一个新的IP包
IPSec通常用于VPN
第2章
P35
Storage Manager V10.35 (controller code Version 07.35 is a non-concurrent upgrade and it must be done offline).
支持:
支持超过2TB logical drives:注意是逻辑设备,要确定OS是否支持超过2T的逻辑设备
RAID 6
超过30个设备来建立RAID 0或RAID 1 ,最大48个
分区数量:7.35支持32个分区; 7.35以前支持16个分区
发生紧急情况时,将诊断数据保存在客户机上
控制器上支持IPV6
支持数量不限的Global Hot Spares.
在不同的DS3000上安全地移动阵列而不丢失数据
在Windows中不再支持RDAC, 取而代之的是MPIO/DSM
第3章
P41
DS3000系列由 DS3200 ,DS3300, DS3400 和 EXP3000 组成
入门级: DS3000
中间级: DS4000
企业级: DS6000
DS3200 DS3300 DS3400均支持450G SAS 和 1TB SATA 硬盘
最大都能支持48个硬盘
各自的主机端口不同:
DS3200: 主机端口使用 SAS
DS3300: 主机端口使用 iSCSI
DS3400: 主机端口使用 FC
P43
DS3000系列中,每个设备可以连接3个扩展柜,每个扩展柜12个硬盘;加上设备自身的12个硬盘,因此,最大为48个硬盘
DS3000系列为 2U,包含1个或2个RAID控制器(DS3000系列都有单控和双控之分),2路冗余电源(每个电源2个风扉作冗余 P44)
EXP3000 为2U,标配1个ESM,另一个为可选件,2路冗余电源(每个电源2个风扇作冗余)
注意,DS3000系列中的磁盘安装方向是横向的!!!!!
DS3000系列支持RAID级别有 0 1 3 5 6 10
每一个控制器的cache为512MB,可升级到1GB
每一个控制器有一个cache电池,可支持3天
在双控制器配置中,(从后面看),左边的是A控制器,右边的是B控制器
P44
DS3000的RAID控制器的端口:
串口Serial Port:用来排错
每个DS有2个电源,每个电源有2个风扇,都是相互冗余的
P44
3.2.1 DS3200
标准的DS3200 RAID控制器只有一个SAS口;(SAS为3Gbps)
安装DS3200 SAS 2-Port Daughter card 将提供两个额外的端口
P45
3.2.2 DS3300
DS3300提供 2个 1Gbps 的 iSCSI口
最多可连接32个主机
(支持16种主机类型)
P46
3.2.3 DS3400
DS3400也有单控/双控之分
每个控制器上有 2个 4Gbps 的 FC port
3.2.4 EXP3000
EXP3000是一个 2U 的 SAS Disk drive enclosure
可插12个SAS 3.5-inch Disk drive
每个DS3000可以连接3个 EXP3000
每个EXP3000有 1个 或 2个 EMS, 2个电源模块(每个电源2个风扉作冗余)
Environmental Services Module (ESM):
一个ESM上有 2个 SAS Port, 分别标为 In 和 Out,
用 In 连接 DS3000 或 另一个 EXP3000的 Out 上
EXP3000上只标配 1个 EMS;另一个为可选件
当EXP3000连接到一个双控的DS3000上,则必须安装 2个 ESM
在升级微码时要做兼容性检查,并且要先升级SM软件
P49
DS3000 Parition Expansion License:DS3000系列中,标准配置为4个存储分区,最大32个(需要Parition Expansion License)
DS3000 FlashCopy Expansion License: 这个License用来启用Flashcopy;标准配置:已启动2个FlashCopy;最多为64个
DS3000 VolumeCopy License:最多128个
P50
3.4 DS3000 Storage Manager
用来管理DS3000的软件
▲Host server
▲Management station
Out-of-band:也叫直连管理(direct-attached management)
IN-band:也叫主机附加管理host-attached management.只有DS3400可使用带内管理
P51
3.4.1 DS3000 Storage Manager components
Storage Manager Client (SMclient)
Storage Manager Agent (SMagent)
Storage Manager Utility (SMutil):安装在主机上
P53
Multipath support:
当DS3000为双控时,推荐在主机上安装 2张 HAB卡
Ds3000在windows下使用MPIO/DSM来作多路径支持,windows中不再支持RDAC
DS3000在Linux下不包含多路径支持,RDAC在Linux下叫做MPP
P54
3.4.2 Management methods
带内管理 和 带外管理 各有优缺点
In-band management:
不需要用到管理 以太网口,也不需要管理TCP/IP
不能配置最大数量的逻辑设备,因为有一个是为了访问逻辑设备而保留的,但并不会出问题,因为所有的客户都不会用到那么多的LUN
在主机上安装SMagent,让client通过TCP/IP来连接主机,主机通过I/O来连接DS3400
缺点:需要一个单独的access logical drive,因此分区数量为允许的最大分区数量减去1个
Access logical drive:
带内管理时,每一个存储分区中都要用到一个access logical drive,因此,可用的LUN为最大数量的LUN 减 1个
Out-of-band management
在控制器上要配置IP地址,建议其IP地址被单独划开
优势:
不需要一个access logical drive,所以主机上能使用到所有的logical drive
如果I/O路径失败,仍能够通过带外管理访问到DS3000,便于排错,并且几乎有带内管理的所有功能
当带内管理不能使用时(如主机上的SMagent不能用),则可使用带外管理
推荐同时使用两种管理方法
第4章
P59
DS3000可以连接3个EXP3000扩展柜,且controller自动设置enclosure ID
可以改变 enclosure ID;
因为enclosure ID是用来确定硬盘的硬件地址的,所以enclosure 的ID必须唯一
enclosure ID默认出厂值是 85
如果要改变它,建议改成 80 或 更高的值 (有些存储子系统不支持低于80的值),有效值为0-99
在双控的DS3000中,两个控制器必须有相同的enclosure ID
在双ESM的EXP3000中,两个ESM必须有相的enclosure ID
P60
4.2 SAS Cabling
SAS线缆是用来连接DS3000和EXP3000的
DS3000控制器和EXP3000 ESM都支持 迷你SAS 4x 多通道连接器
DS3000 Controller and EXP3000 ESM all support mini-SAS 4X multilane connectors
IBM的SAS线 长度 有 1m 和 3m 两种
避免将SAS线拉得过紧
避免与其它可能会损伤SAS线的设备放在一起
避免在线上挂其它重物
P61
4.3 EXP3000 attachment
▲ 连接 DS3000上的drive-side SAS port 到 EXP3000上的SAS In 端口上
▲ 连接 EXP3000上的 SAS Out 端口到下一个 EXP3000的 SAS In 上
P62
一个单控的DS3000连接3个单ESM的EXP3000
当有任一个EXP3000故障或者SAS线断掉,则有一些扩展柜将与DS3000失去连接
P62
双控制器的DS3000和双ESM的EXP3000
在左边使用 top-to-bottom 顺序
右边使用 bottom-to-top 顺序
这样可以避免单点失效
如果SAS线连接错了,设备将不能工作;会被控制器软硬件检测到,在SM中会有警报日志
▲ 不要把SAS线 连接在DS3000的主机端口上,应该连接在设备端口上
▲ 不要把一个EXP3000的 IN 端口 连接到另一个EXP3000的 IN端口上
▲ 不要把一个EXP3000的 OUT端口 连接到另一个EXP3000的 OUT端口上
▲ 不要在一个单一的EXP3000中将SAS端口互联
如果左边和右边都使用 top-to-bottom 的连接方式,
虽然技术上是正确的,但并不是最优化的方法;因为这样没有冗余,
当某一个EXP3000失效后,将导致整个扩展柜与DS3000失去联系
P64
每个DS3000 RAID 控制器有一个以太网口,用于带外管理
如果是双控制器,则要能访问到两个控制器的以太网口,否则不能管理扩展柜
If you have a dual controller DS3000 subsystem, make sure the management workstation can access the management port on each controller. If only one controller is assessable by the management machine, the DS3000 Storage Manager will not be able to manage the enclosure.
强烈建议使用一个专用的LAN地址段来做带外管理
为安全起见,为DS3000设置密码
P64
主机使用 SAS HBA卡 来连接DS3200
一个DS3200控制器最多提供3个SAS主机端口
当主机使用双HBA卡时,一个双控DS3200可以接3台主机
当主机使用单HBA卡时,一个双控DS3200可以接6台主机(因为没有冗余性,所以不推荐此方法)
P64
DS3300 — iSCSI
只要将DS3300连接到以太网交换机,主机也连接到以太网交换机中即可
P65
DS3400-Fibre Channel
DS3400每控制器有2个FC端口,可直连两台主机;或连接到SAN网络中
需要在每一个FC端口上安装一个SFP模块,用来转换光电信号
先移除FC线,再移除SFP模块
DS3400只支持短波SFP模块(short wave SFP module),不支持长波SFP模块
P67
Direct-attached DS3400
主机上安装两块 FC HBA卡,分别连到DS3400的两个控制器中,这种冗余适合集群服务器
Switch-attached Ds3400
1.使用一台SAN交换机,主机的双FC HBA卡连接到 SAN交换机,DS3400两个控制器上的共4个FC端口也连到交换机上
2.使用两个SAN交换机,每台主机的一块FC HBA卡连接到A交换上,另一块FC HBA卡连接到B交换机上
P69
4.6 Power cabling
为保险起见,将DS3000的每一个电源线接到不同的电源中
P70
绿灯:正常
黄灯:黄灯亮时,有故障;黄灯闪光时,某些操作正在进行
蓝灯:蓝灯亮时,可移除组件
4.7 DS3000 Front and Power LEDs
Power LEDs
- DC power LED (Green) 灯亮时说明DC电源被打开
- OK to remove LED (Blue) 灯亮时可以安全的移除电源
- Fault LED (amber) 灯亮时说明风扇失效或者另一个冗余电源没有打开
- AC power LED (Green) AC电源接通
Front Panel LEDs
- Power-on LED (Green) 灯亮 电源打开
- System locator LED (Blue) 灯亮时,SM软件在查找DS3000
– Over temperature LED (amber)
– System error LED (amber) 灯亮时,有错误发生,如电源,控制器 或 硬盘
– Hard disk drive activity LED (green) 每个硬盘都有此灯,灯闪时,硬盘在活动
– Hard disk drive status LED (amber) 每个硬盘都有此灯,长亮时,硬盘失效;灯闪时,硬盘在识别或重建一个活动
P71
打开电源顺序
1.SAN交换机
2.EXP3000扩展柜:可能要花几分钟
3.DS3000:当配置大时,可能要花10分钟才能完全起动
4.Host server
如果没有安装任何磁盘,则不要打开DS3000电源,否则可能会出现a new Feature Enable Identifier (FEI) will be generated
关机顺序的倒序,如果主机不能关机,则先卸载逻辑盘
关主机--->关DS3000--->关扩展柜--->关SAN交换机
第5章
P75
DS3000 subsystems support RAID levels 0, 1, 3, 5, 6, and 10.
RAID 1 is a mirrored set without parity
RAID 3 用一块专用盘来存放校验
RAID 3 突破 RAID1 的两块盘限制,利用率为 (N-1)/N
RAID 3 在校验盘上存在瓶颈,因为每一次写操作,都需要重新计算校验和更新检验
RAID 3 已经很少使用 (RAID3 is rarely used)
RAID 6 is a striped set with dual distributed parity,
RAID 6 is slower than RAID 5, but may be faster in random reads thanks to the spreading of data over one more disks.
RAID6在写时比RAID5慢
RAID 10 就是RAID 1+0
RAID 10 可以扩展镜像到4个或更多的磁盘上
RAID 10 提供极好的数据可用性,唯一的缺点就是只有50%的磁盘利用率
RAID 10 is also known as RAID 1 + 0.
RAID 10 is a way to expand mirroring onto four or more disk drives.
RAID 10 provides excellent data availability.The only drawback is that the usable capacity is only 50% of total storage capacity.
主机将逻辑设备看作是物理驱动器
一般的,除了集群之外,一个逻辑驱动器只分配给一台主机
Segment size:
8-512KB之间
虽然segment size大小可以修改,但最好在创建逻辑设备之前就决定segment size的大小
SM set a default block size to 64KB
数据库的block size设为32--128KB之间较合适
大的文件环境中(如流媒体或CAD;),推荐block size 大于128KB
web server or file and print server,设置为16-64KB之间
P81
Enclosure loss protection
只有RAID 1 3 5 10 能够被Enclosure loss protection
RAID0不能被“扩展柜丢失保护”
当阵列中有磁盘失效后,阵列会降级,直到失效的磁盘被替换且在新的磁盘上完成重新构造
为了增强可用性,强烈推荐使用Hot spare drive
正常情况下,Hot spare drive不参与阵列
当阵列中有盘失效,Hot Spare将自动的使用一个替换盘来立即重新重建数据
当重建完成后,阵列将从降级模式回到正常状态
Host spare也将成为阵列中的成员
要考虑到Hot spare盘的大小要足够大
自动分配Hot spare只适用于未配置的存储
Storage Partitioning: 除集群外,一个逻辑设备只属于一个主机
DS3000中标配为4个分区,最大32个(需parition expansion license)
P84
SM可以安装在:
P93
DS3000的控制器先尝试从DHCP获得IP地址,如果失败,则使用默认的IP地址
– 192.168.128.101 for the first controller.
– 192.168.128.102 for the second controller.
P96
5.4.2 Renaming the storage subsystem
如果已有主机使用逻辑驱动器,此不应该可变存储子系统名称;因为有些OS使用子subsystem name(就是DS3000的名称)来识别
5.4.3 Setting a storage subsystem password
默认没有密码
5.4.4 (Optional) Viewing and enabling Premium Features
要求firmware在v6.70.23.00以上
P100
5.4.5 (Optional) Changing the network configuration
Tools > Configure Ethernet Managemant Ports
即设置控制器的IP地址
P102
SM中删除一个子系统: 右键--->Remove
第6章
P105
P114
6.2 安装SM on Linux
需要单独安装 RDAC包
tar xzvf ibm_sw_xxx.tgz
./SMIA-LINUX-xx.xx.bin -?
P115
6.2.2 在LINUX下用GUI安装SM
与windows下雷同
P120
6.2.3
#sh SMIA-LINUX-xx.xx.bin -i console
第7章
P125
连接DS3200,使用 SAS HBA
连接DS3300,使用 iSCSI HBA (或 iSCSI software initator)
连接DS3400,使用 FC HBA
每个HBA卡也需要配置(类似于RAID卡)
▲ROM-based configuration utility
▲OS based HBA configuration utility
HBA的标识很重要 The HBA identifier (WWN or IQN) is very important
HBA BIOS默认为打开的,建议关闭,除非是从DS3000启动
P128
7.2 Multipath support
两块HBA卡实现多路径,自动冗余
在windows/LINUX上使用iSCSI software initator访问两个及多个iSCSI port,需要安装 RDAC/MPP/MPIO
(Win03/08---MPIO ; LINUX---RDAC ; AIX---MPIO)
P128
7.2.1 Microsoft MPIO
在安装SM时,有一个 Storage Manager 3 RDAC (consists of M$ MPIO and DS3000 DSM)
Linux RDAC is not included with DS3000 Storage Manager for Linux;
需要单独安装
DS3400在08年以后支持AIX 5.2 5.3 6.1 and VIOS 1.5.2, 需要购买license
AIX下已安装MPIO,包名为devices.common.IBM.mpio
第8章
P135
启动SM后,会有一个Task Assistant
重新显示任务助手
▲ View -> Task Assistant 中显示 任务助手
▲ Right-click your management host in the left pane and select Task Assistant
▲ 工具栏上的第3个图标
P138
图标
绿色:Optimal最优化
红色:Need Attention需要注意,有问题
P139
Subsystem context menu:
Manage Storage Subsystem:打开Subsystem Management windows.(双击也可打开)
Locate Storage Subsystem:闪烁存储上的指示灯,用来定位SM Subsystem对应哪一个硬件
Execute Script:Script Editor:
Load Storage Subsystem Configuration option:加载配置文件,可用于恢复/复制到其它存储系统
P142
Configure Alerts:
DS3000 Manager包含Event Monitor Service,为提高可用性,应该将其运行在两个单独的、能同时运行带外管理和带内管理的主机上,以达到24小时可用
DS3000本身并不发送邮件,而是由管理站点(运行event monitor service)来发送邮件通知,如果管理站点宕掉,则警报无法使用
为所有的storage system配置警报:在SM的管理主机上右键,选"Configure Alerts"
为单个storage system配置警报:在SM的单个存储上右键,选"Configure Alerts"
P146
Rename:为存储改一个名
仅在初始安装时改名,当存储在使用时不建议改名,因为有些OS以 storage subsystem name for identification
P147
Comment: 出现在SM的右窗口的comment中
P149
有些管理任务需要同时连接到DS3000上的两个控制器
8.2.3 The Quick Access buttons
1•Automatically discover new storage subsystems
2•Rescan selected host for new storage subsystems
3•Display Task Assistant
4•Add Storage Subsystem to view:带外管理 (如果DS是双控,则要添加两个IP) / 带内管理(Host name or IP)
5•Remove Storage Subsystem from View
6•Launch Management window