RAID 选择 IOPS计算

假设存储上有只有一个应用的情况, 以满足以下条件三年内的负载情况
  应用逻辑读写负载为 S (IOPS), 该值最好用系统检测工具进行最繁忙时段的多次监控取每次平均值的最大者
  读:写比例=R:W
  每年复杂增量百分比: C

假设每磁盘可提供的IOPS 为 P  (10000转速磁盘IOPS为130~150IOPS/disk, 15000转的150~180 IOPS/disk, 各厂商说法上有所区别)
因为容量都比较好估算, 所以主要从性能上考虑

1. 主要RAID类型的特点与IOPS估算
　因为RAID 0写性能是最好的,但是没有数据容错, 一般企业环境下很少使用, (除了数据安全性要求不高的地方), 所以这里不作过多论述.
　a. RAID 1 和 RAID 1/0
　　逻辑读 1次 <= 物理读1次, 因为可以有两个磁盘读可以提供数据读
　　逻辑写 1次 =   物理写2次
　　适合顺序读写的应用, RAID 1可以丢失一块盘.  RAID 1/0 最多可以丢失组成RAID 1/0中的一半盘, 但不能避免同时损坏两个互为镜像盘的情况.
　　对一个需要S个IOPS的应用, 计算RAID 1的实际IOPS  T 要求:
　　T= [S*R/(R+W) + 2*S*W/(R+W)] * (1+C)**3
　　磁盘数目: T/P向上取整
       注意: R1/0盘数应为偶数, R1就只两个盘, 没啥好说的. **为乘方操作符
　b. RAID 5
　　逻辑读 1次 <= 物理读1次, 因为可以有两个磁盘读可以提供数据读, 和RAID1/0类似
　　逻辑写 1次 =   物理写4次, 为什么是4, 这是很多初学者都不能理解的地方, 去看看链接中R 3 和 R 5的写过程就知道了.
　　适合顺序读写的应用, 最多可以丢失组成RAID 5中的一个盘
　　对一个需要S个逻辑IOPS的应用, 计算RAID 1的实际IOPS  T 要求:
　　T= [S*R/(R+W) + 4*S*W/(R+W)] * (1+C)**3
　　磁盘数目: T/P向上取整

2. RAID类型的选择, 逻辑盘LUN的分布
　对于顺序读写而且写性能要求高的应用, 选择RAID 1, 或RAID 1/0, 如果是顺序写要求高的数据, 应单独在一个RAID组中, 避免磁头来回移动.  典型的有Oracle的 redo log, Exchange 的 Transaction log等 日志型的数据.
　对于有备份, 没有容错要求, 读写性能要求高的用RAID 0, 比如实时数据采集.
　对于读要求高于写要求, 容量上有考虑的, 选择RAID 5. 随机写要求不高的都可以使用. 如数据库文件.

 

3。单个硬盘的IOPS怎么算的？

设定硬盘的转速是 

 R  rpm ，硬盘的寻道时间为Ts，,磁头定位时间为 Th ，硬盘的外部时间为 Tm ，磁盘存储时间为 Td

∵ Td= Th + Tm
又 ∵ Th ＝Ts + (1/2 x 60/R)   （想想为什么？）
∴ Td =Ts + (1/2 x 60/R) +Tm
同时： ∵  在单个硬盘中 Tm << Ts ，
∴ Td ≈ Ts + (1/2 x 60/R)

∴ 单个磁盘的随即IOPS ＝ 1/Td =1 / Ts+(1/2 x 60 /R)  IO/s

那么，我们就可以算出单个硬盘的 吞吐量

假设 1个扇区 的大小为 S ， 而1 个cluster 是由 N 个连续的扇区组成的

∴ 磁盘的吞吐量 = IOPS x S x N = 1 / Ts+(1/2 x 60 /R)  x S x N  MB/s

=========================================================================

阵列的瓶颈主要体现在2个方面，吞吐量与IOPS。

1、吞吐量
       吞吐量主要取决于阵列的构架，光纤通道的大小（现在阵列一般都是光纤阵列，至于SCSI这样的SSA阵列，我们不讨论）以及硬盘的个数。阵列的构架与每个阵列不同而不同，他们也都存在内部带宽（类似于pc的系统总线），不过一般情况下，内部带宽都设计的很充足，不是瓶颈的所在。
       光纤通道的影响还是比较大的，如数据仓库环境中，对数据的流量要求很大，而一块2Gb的光纤卡，所能支撑的最大流量应当是2Gb/8(小B)=250MB/s(大B)的实际流量，当4块光纤卡才能达到1GB/s的实际流量，所以数据仓库环境可以考虑换4Gb的光纤卡。
       最后说一下硬盘的限制，这里是最重要的，当前面的瓶颈不再存在的时候，就要看硬盘的个数了，我下面列一下不同的硬盘所能支撑的流量大小：
          10 K rpm         15 K rpm           ATA
          ———         ———           ———
          10M/s            13M/s              8M/s
       那么，假定一个阵列有120块15K rpm的光纤硬盘，那么硬盘上最大的可以支撑的流量为120*13=1560MB/s，如果是2Gb的光纤卡，可能需要6块才能够，而4Gb的光纤卡，3-4块就够了。

2、IOPS
       决定IOPS的主要取决与阵列的算法，cache命中率，以及磁盘个数。阵列的算法因为不同的阵列不同而不同，如我们最近遇到在hds usp上面，可能因为ldev(lun)存在队列或者资源限制，而单个ldev的iops就上不去，所以，在使用这个存储之前，有必要了解这个存储的一些算法规则与限制。
       cache的命中率取决于数据的分布，cache size的大小，数据访问的规则，以及cache的算法，如果完整的讨论下来，这里将变得很复杂，可以有一天好讨论了。我这里只强调一个cache的命中率，如果一个阵列，读cache的命中率越高越好，一般表示它可以支持更多的IOPS，为什么这么说呢？这个就与我们下面要讨论的硬盘IOPS有关系了。
       硬盘的限制，每个物理硬盘能处理的IOPS是有限制的，如
         10 K rpm         15 K rpm           ATA
         ———         ———           ———
         100              150                 50
      同样，如果一个阵列有120块15K rpm的光纤硬盘，那么，它能撑的最大IOPS为120*150=18000，这个为硬件限制的理论值，如果超过这个值，硬盘的响应可能会变的非常缓慢而不能正常提供业务。
       另外，我们上一篇也讨论了，在raid5与raid10上，读iops没有差别，但是，相同的业务写iops，最终落在磁盘上的iops是有差别的，而我们评估的却正是磁盘的IOPS，如果达到了磁盘的限制，性能肯定是上不去了。
       那我们假定一个case，业务的iops是10000，读cache命中率是30%，读iops为60%，写iops为40%，磁盘个数为120，那么分别计算在raid5与raid10的情况下，每个磁盘的iops为多少。

raid5:

单块盘的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120 
             = (4200 + 16000)/120 
             = 168
这里的10000*(1-0.3)*0.6表示是读的iops，比例是0.6，除掉cache命中，实际只有4200个iops
       而4 * (10000*0.4) 表示写的iops，因为每一个写，在raid5中，实际发生了4个io，所以写的iops为16000个

为了考虑raid5在写操作的时候，那2个读操作也可能发生命中，所以更精确的计算为：

单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120 
             = (4200 + 5600 + 8000)/120 
             = 148
      计算出来单个盘的iops为148个，基本达到磁盘极限

raid10

单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120 
             = (4200 + 8000)/120 
             = 102
可以看到，因为raid10对于一个写操作，只发生2次io，所以，同样的压力，同样的磁盘，每个盘的iops只有102个，还远远低于磁盘的极限iops。

在一个实际的case中，一个恢复压力很大的standby（这里主要是写，而且是小io的写），采用了raid5的方案，发现性能很差，通过分析，每个磁盘的iops在高峰时期，快达到200了，导致响应速度巨慢无比。后来改造成raid10，就避免了这个性能问题，每个磁盘的iops降到100左右。