2013年(8)
分类: NOSQL
2013-09-15 17:14:17
常见的文档型NoSQL包括MongoDB、CouchDB等,其中MongoDB是一个高性能、开源、无模式的文档型数据库,它在许多场景下 可用于替代传统的关系型数据库或键/值存储方式,MongoDB使用C++开发,提供了很多功能,如面向集合的存储、动态查询、完整的索引支持、查询监 视、复制及自动故障转移、高效的传统存储方式、自动分片以支持云级别的伸缩性。
SequoiaDB(巨杉数据库)作为文档型NoSQL家族中的新成员,其企业级的新特性颇受关注。根据SequoiaDB官网的描述,该数据 库在提供文档类JSON接口的同时,能够替代HBase作为Hadoop的存储引擎。与MongoDB相比,其Hadoop接口较为完善。因此,本文将 MongoDB与SequoiaDB两款文档型NoSQL同时进行测试,对比两者的功能和性能。
一、测试环境
本次测试基于的环境是6台刀片机,每台的配置为4核AMD Opteron 2378 2.4GHz,4GB的,2x150GB Raid 0本地磁盘。使用SLES 11SP2(Kernel:3.0.13-0.27-default x86_64)。
MongoDB部署在6台刀片机上,每台物理机作为一个单节点Shard。其中两台物理机还部署了Config Server,另外一台物理机部署了mongos进程。
SequoiaDB部署在6台刀片机上,每台物理机作为一个单节点复制组,其中两台物理机还部署了编目节点,另外一台物理机部署了协调节点。
MongoDB与SequoiaDB均使用“id”作为分区键字段,每条记录平均550字节,均采用手工指定分区方式分区。
二、主要功能对比
功能 |
MongoDB |
SequoiaDB |
开发语言 |
C++ |
C++ |
类型 |
文档类 |
文档类 |
分布式机制 |
Sharding |
Sharding |
数据格式 |
JSON/BSON |
JSON/BSON |
操作界面 |
Javascript |
Javascript |
支持多索引 |
支持 |
支持 |
Hadoop支持 |
支持内置MapReduce |
支持Hadoop MapReduce查询,能够连接Pig/Hive接口 |
支持范围切分与散列切分 |
支持 |
支持 |
支持聚集操作 |
支持 |
支持 |
其他功能 |
支持地理索引 |
支持跨集合跨节点事务、内置支持类SQL查询、支持数据压缩 |
主要应用场景 |
数据类型多变,需要动态查询,需要多字段索引 |
数据类型多变,需要动态查询,需要多字段索引,需要事务功能(提交回滚),Hadoop环境中的数据存储 |
三、命令行操作对比
以下命令行完成创建表(集合)、插入数据、查询数据、删除表(集合)四种操作。
1、MongoDB
2、SequoiaDB
四、主要性能对比
1、单节点单线程场景
测试环境:1台刀片机,SequoiaDB/MongoDB为独立模式。
录入场景:使用单线程本地TCPIP连接,插入1亿条记录。
查询场景:使用单线程本地TCPIP连接,使用集合扫描1亿条记录,返回最后一条。
(1)数据录入
X轴代表数据库内包含的记录总数,Y轴代表数据库每秒插入记录数量。
(2)数据录入(平均)
Y轴代表数据库平均每秒插入记录数量。
(3)数据查询
Y轴代表数据库平均每秒扫描记录数量。
(4)占用空间
Y轴代表插入1亿条记录后所占用的存储空间(单位MB)。
从以上测试结果可以看出,SequoiaDB在单节点、单线程的使用场景下,插入性能优于MongoDB,在查找某一特定记录方面 MongoDB略快于SequoiaDB,在特性方面,MongoDB的异步插入相当于批量插入,而SequoiaDB的压缩插入在比较占优势,性能相对 自身的批量插入提高了将近一倍,而空间节约就更加可观了。
2、多节点多线程环境
测试环境:6台HP刀片机,SequoiaDB/MongoDB为集群模式。
录入场景:每台机器使用5线程本地TCPIP连接(总共30线程),总共插入1亿2千万条记录。
查询场景:每台机器使用5线程本地TCPIP连接(总共30线程),每线程使用集合扫描1亿2千万条记录,返回最后一条。
(1)数据录入
X轴代表每条线程插入的记录总数,Y轴代表数据库单条线程每秒插入记录数量。
(2)数据录入(平均)
Y轴代表数据库单条线程平均每秒插入记录数量。
(3)数据查询
Y轴代表数据库单条线程平均每秒扫描记录数量。
(4)表扫描
X轴代表每条数据库中存在的记录总数,Y轴代表数据库单条线程每秒扫描记录数量。
(5)占用空间
Y轴代表插入1亿2千万条记录后所占用的总的存储空间(单位MB)。
在同等情况下,都采用6个分区和手动分区,MongoDB也禁用了balancer,对MongoDB和SequoiaDB共有特性进行对比测 试。从以上测试结果可以看出,SequoiaDB的插入性能在并发情况下也远远优于MongoDB,虽然MongoDB在查询特定记录方面还是略胜一筹, 但是从引入全表扫描的结果来看,一旦客户端查询并且取回记录集时,SequoiaDB优势突显。
五、总结
MongoDB和SequoiaDB作为文档型NoSQL的代表,在功能和性能表现上各有千秋。通过本次测试能够看出,MongoDB和 SequoiaDB的性能都很强劲,其中SequoiaDB更是表现不俗,相信在不久的将来SequoiaDB能够独当一面,打开企业级NoSQL市场的 局面。