Redis/MongoDB/ZODB速度比较（小数据量）

刚才用100kb的小文本文件，用1000次循环，在我的本本上，对redis(via redis-py)，mongodb(via py-mongo)和ZODB(Zope的数据库,OODB，直接使用key-value模式，没有依附其他数据结构)进行了小规模写入和读取测试。

发现一些结果，有些有点意外：

逐次写入：

也就是

代码：

for record in file:
    db.insert(record)
    db.save()

Mongodb没有强制将数据写入硬盘的函数，忽略。
ZODB没有异步模式，只能对每一条record调用一次commit，用了50秒。
Redis出奇地使用了约2分钟之多，我想是因为Redis的同步save设计还没不成熟的原因。（update：经过查阅文章，发现redis的save是以快照模式进行的，这就能解释为什么redis在逐次写入，同步保存情况下，如此耗时了。 ）

连续写入

也就是

代码：

for record in file:
    db.insert(record)
db.save() # if exists

MongoDB和Redis两个都耗时一秒左右，MongoDB速度比Redis稍稍慢个零点几秒，考虑到Mongodb和Redis默认都是使用异步模式，速度相差不大，算是意料之中。

ZODB没有异步写入的方法，忽略。

读取

无索引情况下，ZODB是0.1x，Mongodb是1秒多，Redis是0.3秒。

有索引/缓存情况下，ZODB（在同一进程中对同一对象进行多次读取）是0.004秒；MongoDB仍是1秒多，比原来快了零点几秒；Redis是直接key-value，没有缓存，pass。

暂时总结

Redis的写入情况和MongoDB相似，但Redis的读取速度比MongoDB稍快。
MongoDB的索引似乎效果不大。
ZODB的读取速度惊人，秒杀MongoDB和Redis，但没有异步写入是它的硬伤，可尝试以扬长避短，考虑将它用在“读取多，写入小”的情况下。

详细数据

环境 Linux mypad 2.6.39-ARCH #1 SMP PREEMPT Tue Jun 7 05:49:02 UTC 2011 i686 Intel(R) Core(TM)2 Duo CPU T6570 @ 2.10GHz GenuineIntel GNU/Linux

条件，100kb文件，循环写入/读取1000次，每个测试方法是分开运行的，比如 python -m unittest testFile.TestCase.testMethod && python -m unittest ...

 

Zodb，同步，第一个是写入时间，第二个是无内存缓存的查询，第二个是有内存缓存的查询。
Ran 1 test in 50.151s

Ran 1 test in 0.038s

Ran 1 test in 0.003s

 

mongodb 异步，第一个是写入时间，第二个是无索引查询，第三个是建立索引的时间，第四个是带索引的查询
Ran 1 test in 1.450s

Ran 1 test in 1.159s

Ran 1 test in 0.002s

Ran 1 test in 1.137s

 

redis，默认设置（不带save或bgsave），后面是查询时间
Ran 1 test in 1.002s

Ran 1 test in 0.296s

redis,在所有数据写入之后调用save，后面是查询时间
Ran 1 test in 1.287s

Ran 1 test in 0.299s

redis，在所有数据写入之后调用bgsave，后面是查询时间
Ran 1 test in 1.004s

Ran 1 test in 0.323s