IQ 16.0 重大架构增强——支持Shared-nothing MPP

1.Shared-nothing Multiplex简介

从SAP 1Q 16.0 SP10开始引入了对Shared-nothing Multiplex/MPP的支持。“Shared-nothing multiplex ”是一个大数据环境下针对大规模并行处理（massively parallel processing/MPP）的存储和处理架构。在这个存储架构下，主数据（primary data）存储在一组节点中的直插式存储（direct-attached storage/DAS）设备集合中，而不是存储在一个共享存储区域网络设备中（即SAN存储设备中）。

2.Shared-nothing Multiplex的优势

I/O扩展能力提升

此前的IQ Multiplex采用shared-disk存储架构来存放数据，当节点增加、数据量不断增长时，共享存储成为瓶颈。

Shared-nothing multiplex采用了分布式存储技术，极大提升了I/O扩展能力。每个节点中的本地DAS存储设备能够实现比共享SAN存储设备更高的I/O性能。

IQ 16 SP10引入的Shared-nothing storage类似于Hadoop的HDFS，使用每个节点自己本地的存储存放用户数据的子集。

在IQ Multiplex中，你可以同时使用shared-nothing dbspaces和shared-disk dbspaces；在一个物理集群中shared-nothing multiplex和shared-disk multiplex可以同时存在。

提供更强的数据保护

每个节点中的DAS设备可以指定镜像文件，通过镜像技术能够提升数据的高可用性。这与Hadoop的HDFS也有一些类似，都通过数据冗余技术来避免数据的损坏、丢失。

存储设备管理便得相对简单

原先管理IQ Multiplex共享存储设备时，需要管理裸设备。Shared-disk存储结构要求每个节点上的设备路径一定要相同，并指向一定要正确。当节点数量比较多时，或者共享裸设备数量很多时，会造成管理的负担，并且容易出现错误。

IQ 16 SP10的shared-nothing Multiplex，采用了分布式存储架构，在每个节点上可以使用裸设备，也可以使用文件系统中的文件。

数据库备份的变化

由于采用了节点本地的设备镜像技术，IQ shared-nothing multiplex的数据保护能力得到一步提升（有些类似于Hadoop HDFS采用的数据冗余技术）。

对于shared-nothing multiplex来说，数据库备份被分解到每个节点，每个节点只负责备份自己拥有的本地设备上的数据，并且节点之间可以并行进行备份。这降低了原先shared-disk Multiplex备份时，对于备份设备的压力。