Gluterfs Stripe Volume Test Report

GlusterFS Stripe Volume Test Report

 

Test Environment:

     DataNode1:  虚拟机 ，OS centos6.2 64bit ，brick:/dev/sdb 20GB mount /export/brick1使用物理机本地硬盘，与DataNode共用。

     DataNode2:  虚拟机 ，OS centos6.2 64bit ，brick:/dev/sdb 20GB brick 20GB mount /export/brick1 使用物理机本地硬盘，与DataNode共用。

     TestNode：虚拟机 ，OS centos6.2 64bit ，使用物理机本地硬盘，与DataNode共用。

     Network：DataNode1/2 、TestNode在同一台物理机上，网卡速率1000Mbps ,共享同一物理网卡接口。

     Monitor tools :nmon

Test Purpose：

1、  测试Stripe Volume write/read 是否是stripe方式进行读写。因采用VM，共享同一物理硬盘，本测试环境不具备性能测试条件，仅做功能性测试。

2、  数据有效性验证

Test Method：

 

1、  创建Trust StoragePool/Stripe Volume

2、  以nfs方式将volume 挂在至TestNode /mnt目录下

3、  大文件写入，从本地pc 用winscp 上传4GB centos ISO文件至TestNode /mnt下，监控DataNode磁盘写入数据。

4、  从TestNode 将Centos ISO文件复制到/home 目录下，监控DataNode 磁盘读取数据

5、  从TestNode 将/home/目录下Centos ISO文件 copy至/mnt 下，监控DataNode 磁盘写入情况

 

Test Result：

1、  Create Trust Storage Pool and Stripe Volume

On DataNode1 run command:

[root@node1 ~]# gluster peer probe node2 #创建Trust Storage Pool

 

[root@node1 ~]# gluster volume create striped stripe 2 node1:/export/brick1 node2:/export/brick1  #创建Stripe Volume

 

[root@node1 ~]# gluster volume start striped  #start Striped Volume

 

[root@node1 ~]# gluster volume status #查看Volume 运行状态

Status of volume: striped

Gluster process                                         Port    Online  Pid

------------------------------------------------------------------------------

Brick node1:/export/brick1                              24009   Y       14230

Brick node2:/export/brick1                              24009   Y       13674

NFS Server on localhost                                 38467   Y       13680

NFS Server on node1                                     38467   Y       14236

 

[root@gclient ~] mount –t nfs –o tcp,vers=3 node1:/striped /mnt #仅支持nfs version3

3、  Upload 4GB Centos ISO file to TestNoed /mnt 

  TestNode Disk Write figure:

Figure 3.1

DataNode1 Disk Write figure

Figure 3.2

DataNode2 Disk write figure

Figure3.3

 

         测试结果： 从上面nmon 数据(Figure3.1/3.2/3.3)可以看出  

1、  从个人PC上传文件至TestNode mount 的/mnt目录时，11:41 至11:48 时间段内，数据并没有写进TestNode 系统磁盘内，数据直接写入/mnt (striped volume)

2、  从DataNode1/2 上brick (/dev/sdb)监控数据可以看出，数据Upload期间，DataNode1/2数据在同时进行写操作，但会有停顿现象（详细数据见nmon监控记录文件），产生原因未知，待研究。

4、  Download Centos iso file from glusterfs to TestNode  time from 11:48 to 11:51

  TestNode Disk Write figure:

Figure4.1

DataNode1 Disk read figure

Figure4.2

DataNode2 Disk read figure

Figure4.3

测试结果： 从Figure 4.1/4.2/4.3中可以看出：

TestNode /dev/sda2 (/home) 磁盘分区进行频繁写数据

2、  在11:48至11:51 时间段内DataNode1/2 /dev/sdb (brick) 磁盘分区同时进行频繁读数据

从测试数据可以看出，从gluster striped volume 读数据，是从各个brick并行读入数据

 

5、  Upload 4GB Centos iso from TestNode /home to gluster volume (TestNode:/mnt)  time from 11:51 to 11:56

测试结果：从图 3.2/3.3 可以看出：

1、在11:51至11:56 时间段内，DataNode1/2 /dev/sdb (brick) 磁盘分区同时进行频繁连续写入数据，与测试步骤3对比，磁盘数据写入相对稳定，无数据写入停顿现象