ceph作为一个统一存储方案,它通过rbd模块来对外提供块设备,目前对于rbd模块来说,它既有用户态的librbd也有内核态的krbd。而tgt作为用户层的SCSI target,支持通过librbd来访问ceph的块存储是一件水到渠成的事。最终由Dan Mick在tgt中加入了对rbd的支持,并在ceph社区发表了一篇文章,有兴趣的同学可以看看。
本篇文章介绍了如何使用stgt搭建一个基于rbd的SCSI target。
1.为了能在tgt中使用librbd访问ceph的块设备,需要tgt有相应的模块,你可以通过以下命令来确认。
-
$ tgtadm --lld iscsi --mode system --op show|grep rbd
-
rbd (bsoflags sync:direct)
如果有类似于上面的输出结果,说明你的tgt加载了rbd模块。该模块实际上是一个名为bs_rbd.so的动态链接库。如果命令没有输出,则说明你的tgt还不支持rbd,你需要安装最新的tgt,或者直接下载编译最新的源码。这里我给出从源码编译安装的步骤:
1.2 设置CEPH_RBD变量,使得tgt能够编译bs_rbd模块
1.3 在tgt源码的跟目录执行make
1.4 执行make install安装binaries
1.5 再次检查tgt是否支持rbd
2. tgt能支持rbd之后,使用rbd命令创建一个镜像,搭建ceph环境的方法可以参见我的另一片博文——10分钟从源码编译到部署ceph环境,如有问题可以留言,共同探讨。
-
$ rbd create iscsi-image --size 4096
3. 创建一个scsi target
-
$ tgtadm --lld iscsi --mode target --op new --tid 1 --targetname iqn.2013-15.com.example:cephtgt.target0
4. 基于第二步创建的rbd image创建一个lun
-
$ tgtadm --lld iscsi --mode logicalunit --op new --tid 1 --lun 1 --backing-store iscsi-image --bstype rbd
5. 设置lun的访问控制
-
$ tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL
6. 通过iscsi initiator来确认是否lun是否已经创建好。