ISCSI+DRBD

UBUNTU 9.04 + ISCSI + DRBD

1、使用命令fdisk新建两个磁盘分区: /dev/sda10和/dev/sda11
2、准备两台机器：一台是iscsi服务器，ip是192.168.1.100；一台是普通服务器，ip是192.168.1.102。注意iscsi 服务器同时可以作为iscsi 客户端initiator，这样在我的例子中相当于有两个iscsi initiator，一个iscsi target。
3、在iscsi服务器上安装iscsi target软件:
# apt-get install iscsitarget
# vim /etc/default/iscsitarget

ISCSITARGET_ENABLE=true

# vim /etc/ietd.conf

……
Target iqn.2010-01.com.moodisk:storage.disk.sda10
     IncomingUser username secret
     Lun 0 Path=/dev/sda10,Type=fileio
     Alias part1
     
Target iqn.2010-01.com.moodisk:storage.disk.sda11
     IncomingUser username secret
     Lun 1 Path=/dev/sda11,Type=fileio
     Alias part2
……

---上面的红色部分表示登录iscsi target时需要用户名和密码，如果不需要密码则可以屏蔽掉。

# vim /etc/initiators.allow

iqn.2010-01.com.moodisk:storage.disk.sda10 192.168.1.100,192.168.1.102
iqn.2010-01.com.moodisk:storage.disk.sda11 192.168.1.100,192.168.1.102

# /etc/init.d/iscsitarget restart;  --重启iscsi target，使新配置起作用。

4、在普通服务器上安装iscsi initiator软件（两台机器上都安装）：
# apt-get install open-iscsi
# vim /etc/iscsi/iscsid.conf

node.startup = automatic
node.session.timeo.replacement_timeout = 120
node.conn[0].timeo.login_timeout = 15
node.conn[0].timeo.logout_timeout = 15
node.conn[0].timeo.noop_out_interval = 5
node.conn[0].timeo.noop_out_timeout = 5
node.session.err_timeo.abort_timeout = 15
node.session.err_timeo.lu_reset_timeout = 20
node.session.initial_login_retry_max = 8
node.session.cmds_max = 128
node.session.queue_depth = 32
node.session.iscsi.InitialR2T = No
node.session.iscsi.ImmediateData = Yes
node.session.iscsi.FirstBurstLength = 262144
node.session.iscsi.MaxBurstLength = 16776192
node.conn[0].iscsi.MaxRecvDataSegmentLength = 131072
discovery.sendtargets.iscsi.MaxRecvDataSegmentLength = 32768
node.session.iscsi.FastAbort = Yes

# /etc/init.d/open-iscsi restart;  --重启iscsi initiator，使新配置起作用。

# iscsiadm -m discovery -t st -p 192.168.1.100; --发现iscsi服务器输出的iscsi设备:

192.168.1.100:3260,1 iqn.2010-01.com.moodisk:storage.disk.sda11
192.168.1.100:3260,1 iqn.2010-01.com.moodisk:storage.disk.sda10

# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda10" --portal "192.168.1.100:3260" --op=update --name node.session.auth.authmethod --value=CHAP
# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda10" --portal "192.168.1.100:3260" --op=update --name node.session.auth.authmethod --value=username
# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda10" --portal "192.168.1.100:3260" --op=update --name node.session.auth.authmethod --value=secret

# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda11" --portal "192.168.1.100:3260" --op=update --name node.session.auth.authmethod --value=CHAP
# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda11" --portal "192.168.1.100:3260" --op=update --name node.session.auth.authmethod --value=username
# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda11" --portal "192.168.1.100:3260" --op=update --name node.session.auth.authmethod --value=secret
--上面几个命令用来配置iscsi initiator端登录iscsi target服务器的一些参数，这些参数存放在文件/etc/iscsi/nodes/iqn.2010-01.com.moodisk:storage.disk.sda10/192.168.1.100,3260,1/default和/etc/iscsi/nodes/iqn.2010-01.com.moodisk:storage.disk.sda11/192.168.1.100,3260,1/default中，这是文本文件，也可以直接编辑。如果在iscsi target端配置了登录用户名和密码，那么上面的红色部分就不能省略（且用户名和密码要与iscsi target端一致），否则就可以省略掉。

5、initiator登录target，有两种方式：
# /etc/init.d/open-iscsi restart
--重启iscsi initiator，iscsi initiator端就会自动登录iscsi target，并在本地新产生两个磁盘文件/dev/sdX。
或者用下面的命令手工登录：
# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda10" --portal "192.168.1.100:3260" --login
# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda11" --portal "192.168.1.100:3260" --login
（注意手工登出命令：
# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda10" --portal "192.168.1.100:3260" --logout
# iscsiadm -m node --targetname "iqn.2010-01.com.moodisk:storage.disk.sda11" --portal "192.168.1.100:3260" --logout
）
使用命令fdisk -l可以查看到新生成的两个磁盘，比如我的例子就是生成了/dev/sdb和/dev/sdc。
！！！！！！！
注意：为了能在全部的iscsi initiaor上都能使用建立在相同的iscsi设备上的lvm，新生成的磁盘文件命名顺序要一致，比如在A机上/dev/sdb对应iqn.2010-01.com.moodisk:storage.disk.sda10，/dev/sdc对应iqn.2010-01.com.moodisk:storage.disk.sda11，而在B机器上/dev/sdc对应iqn.2010-01.com.moodisk:storage.disk.sda10，/dev/sdd对应iqn.2010-01.com.moodisk:storage.disk.sda11。
！！！！！！！

6、在其中一台iscsi initiator上执行：
# pvcreate /dev/sdb /dev/sdc
# vgcreate lvm-vg /dev/sdb /dev/sdc
# vgdisplay lvm-vg;  ---查看卷组大小（比如我的是9.53GB
# lvcreate -L 9.53G -n lvm-lv lvm-vg
# mkfs.ext3 /dev/lvm-vg/lvm-lv
7、在全部的iscsi initiator机器上执行：
# mount /dev/lvm-vg/lvm-lv /mnt
用完后卸载：
# umount /mnt