Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4461172
  • 博文数量: 1214
  • 博客积分: 13195
  • 博客等级: 上将
  • 技术积分: 9105
  • 用 户 组: 普通用户
  • 注册时间: 2007-01-19 14:41
个人简介

C++,python,热爱算法和机器学习

文章分类

全部博文(1214)

文章存档

2021年(13)

2020年(49)

2019年(14)

2018年(27)

2017年(69)

2016年(100)

2015年(106)

2014年(240)

2013年(5)

2012年(193)

2011年(155)

2010年(93)

2009年(62)

2008年(51)

2007年(37)

分类: 大数据

2014-05-19 17:20:14

文章来源:http://blog.nosqlfan.com/html/3258.html

Cassandra的数据模型借鉴自Google的BigData模型,简单来说就是将写操作放在一个内存块中,当内存块大小达到一定大小时,将内存中的数据排序后写成一个sstable文件,而这种方式会有一些问题,而前段时间Google的Chromium团队开发的一个开源的key-value存储以其分层压缩机制给了大家一种新的思路,Cassandra也适时的将这种思路引入到Cassandra中,也就是今天我们要介绍的Cassandra的分层压缩。

目前的压缩机制:Tiered Compaction

在讲分层压缩之前,我们先来看一下Cassandra目前的数据存储模型和数据压缩机制。

像我们上面说的一样,Cassandra在内存数据达到一定大小时,会将数据排序写入磁盘生成一个sstable文件块,当第一级的sstable数目达到四个时,由于这四个sstable相当于是按时间划分的一段时间的数据快照,所以这四个块中会有一些相同的数据。我们将这四个sstable会进行合并压缩,就可憎减小空间。具体过程如下图所未:

上图绿色块就表示一个sstable,当第一级的sstable达到四个,就会合并成一个新的第二级的sstable。当然,当第二级的sstable也达到四个,就会再进行合并生成第三级的sstable,以此类推。如果下图所未,当一二三四级sstable都已经有三个,可能这个合并就会一直进行下去。

由于sstable之间可能有重复的数据,也就是同一个数据的不同版本可能存在在多个sstable中,所以上面的方式在更新比较频繁的系统中,可能会有下面一些问题:

  • 第一是性能的影响,由于一条记录可能存在在多个sstable中,最BT的情况下可能某一条记录会存在在所有sstable中,所以具体需要合并多个少sstable才能保证一条记录在所有sstable中只存了一次就变得不太确定了。
  • 这种方式在存储空间上也比较浪费,因为一个被删除的记录可能的老版本可能会一直存在在一些老的sstable中,直到进行一次完整的合并才行。这对于一个经常会有删除操作的系统来说会造成空间的极大浪费。
  • 在不怎么删除的系统上,也会造成一些空间的浪费,最坏的情况下,如果一条记录都没有重复,那么合并操作实际上完全是浪费时间,合并后的数据大小和合并前相比不会变,但是合并操作本身会需要和当前数据集一样大的空间成本。

新的压缩机制:Leveled Compaction

新的压缩机制借鉴自LevelDB,这种机制最大的特点在于其同一层的各个sstable之间不会有重复的数据。所以在某一层和它上一层的数据块进行合并时,可以明确的知道某个key值处在哪个数据块中,可以一个数据块一个数据块的合并,合并后生成新块就丢掉老块。不用一直到所有合并完成后才能删除老的块。

另外,新的分层式压缩方式将数据分成条个层,最底层的叫L0,其上分别是L1,L2….,每一层的数据大小是其上的那一层数据最大大小的10倍,其中最底层L0的大小为5M

如下图所未,当浅绿色的L0块生成时,它会马上和L1层的数据进行合并,并生成新的L1块(蓝色块),当L1的块越来越多,大于这一层的最大大小时,这些块又会和L2层的数据进行合并并生新的L2层的块(紫色块)

可以这样理解,层级越小的块,其保存的数据越少,也越新,比如L0层保存的就是最新的数据版本,但是其只会保存5M数据,其上的L1层会保存50M数据,但是并不是最新的。当一个系统运行的时间足够长,那么其数据结构可能会如下图所未:

这种方式的优点是同一层的块之间没有重复数据,带来的好处就是在合并操作的时候,并不需要扫描一层中的所有数据块。合并的开销变小了。具体能够保证以下一些优点:

  • 可以保证90%的读操作只需要对一个sstable进行随机读操作。而最坏情况下,也能保证读操作最大只会等于层数,如果10T数据的话,也只有七层,只需要七次随机读操作。
  • 在空间利用上,可以保证最多只有10%的空间会浪费在无用数据上。
  • 在压缩合并操作的开销上,也最多只会使用10倍于sstable大小的空间。

你可以通过在创建Column Family时指定compaction_strategy参数为LeveledCompactionStrategy来使用新的分层压缩策略。

当然,这种策略也不是万能的,对于一个更新操作和删除操作比较多的系统,使用分层压缩是比较合适的。因为这种系统会产生同一份数据的多个版本。但是由于这种压缩会在压缩中进行更多的IO操作,所以如果是一个主要是insert操作的系统,建议不要使用分层压缩方法。

阅读(1187) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~