@HUST张友东 work@taobao zyd_com@126.com
分类： 服务器与存储
2012-05-18 17:00:37
分布式文件系统主要用于解决海量数据存储的问题，如Goolge、Facebook等大型互联网企业都使用分布式文件系统作为数据存储的基础设施，并在其上构建很多服务，分布式文件系统通常采用三副本的策略来保证数据的可靠性，但随着应用数据量的不断膨胀，三副本策略为可靠性牺牲的存储空间也越来越大，如何在不降低数据可靠性的基础上，进一步降低存储空间成本？ Facebook将erasure code应用到内部HDFS集群中，该方案使用erasure code代替传统的三副本策略，在保持集群可用性不变的情况下，节省了数PB的存储空间，Facebook的实现方案(HDFS RAID)目前已贡献给开源社区。
Erasure code
如下图所示，HDFS要想容忍2个block的丢失，则需要为每个block创建3个副本，存储空间成本为数据量大小的3倍。而采用RS编码，只需要1.4倍（10个数据块、4个校验块）的存储开销，能容忍4个block的丢失。（RS的原理请自行google）
HDFS中的文件通常很大，文件有多个固定大小（64M）的block组成，block一旦写满就不会再更改，HDFS RAID以文件为单位计算校验，并将计算出来的校验block存储为一个HDFS文件。HDFS-RAID目前支持Raid5和RS（Raid6可用RS实现）两种编码方式，下图为副本、Raid5、RS三种方案编码的对比，其中副本方式存储空间成本最高、但能获得较高的读写效率（多副本并行服务）；RS方案存储成本最低，但数据存储、恢复时计算开销较大。
DRFS总体架构(Distributed Raid File System)
RaidNode
为了不影响现有的服务逻辑，DRFS采用渐进式的部署方案，可逐步的将编码应用到HDFS中的文件，用户可配置需要编码的文件的模式（如指定后缀名为mkv、指定某个目录下的所有文件等），RaidNode根据用户的配置，从NameNode获取符合要求的文件(满足用户配置的模式，且超过指定时间没有更新)分布信息，并从DataNode上读取文件数据块，计算出校验文件，并存储到HDFS中（用户可配置校验文件的存储位置）。
DRFS以文件为单位计算校验，将文件划分成多个Stripe，每个Stripe包含一或多个block（stripe length可配置），stripe length越小，计算出的校验数据量越小，数据恢复时的成本越高；反之，，stripe length越大，存储空间成本越高，但当block丢失，恢复时的计算和传输成本越低 。如下图所示，6个block组成的文件，当stripe length为1和2时，校验块的情况；两者都可以容忍两个block丢失，但前者的存储开销为1.33倍，而后者的存储1.67倍；但当block丢失时，前者需要读取6个block来恢复，而后者只需要读取3个block。
当校验数据块计算完成，且校验文件存储到HDFS后，HDFS将降低文件的副本数，以节省存储空间。另外，对于一些小的文件（block数较少），RaidNode并不会为其计算校验块，而是什么也不做，因为当文件较小时，副本方案与RS方案的存储成本开销相差不大，并不能起到节省存储空间的作用，反而降低了文件并行服务的能力，增加了block丢失时的恢复开销。
RaidNode还负责丢失块的恢复工作，它定期的检查已经应用erasue code的文件状态，确定其是否有block已经丢失（source file、parity file都需要检查），如果有block已经丢失，则其先从各个DS上获取恢复该block需要的数据，并重新计算该block。
HDFS RAID主要问题在于，parity file的数据块可能分布到跟source file数据块相同的DataNode上，这样实际上降低了系统的整体可靠性；为解决该问题，HDFS RAID提出了新的数据放置方案，已将source和parity的block数据分散到不同的DataNode，但要应用新的放置方案，需要重启NameNode的服务。
DRFS Client
用户需要读取已经应用erasue code的方案的文件时，需要使用DRFS Client，其对HDFS Client进行了封装，并透明处理block丢失的情况；当出现Block丢失或检验错误时，DRFS Client透明的计算出丢失block的数据，并返回给用户；当用户请求完成后，DRFS Client会丢弃block的数据，该block的恢复会由RaidNode完成，或由管理员通过RaidShell手动触发恢复。
参考资料：
