位图索引(bitmap index)

2020-09-27 10:37:22 浏览数 (1)

位图索引是一种很高效的索引结构,对于多属性过滤的聚合查询很高效,玩的就是 bit。

本文预计阅读时间 3 分钟。

位图索引基本概念

位图:位(bit)的一个简单数组,比如 001010,这个位数就是 6。

位图索引:假如建立在一个表的列 A 上,对属性 A 中的每一个可能取值都建立位图,位图的位数和数据量相等。

位图的生成方法:如果编号为 i 的记录在属性 A 上的值为 v_j,则 v_j 位图的第 i 位为1,否则为0。

实际例子

我们为性别字段建立位图索引,性别有 3 种取值,分别建立位图索引。

《性别_男》= 100100。表示第 1 个和第 4 个是男,其他不是男,后边类似。

《性别_女》= 011010。

《性别_中性》= 000001。

相同的,对收入也建立位图索引:

《收入_1w》= 101010。

《收入_2w》= 010101。

用法

单属性过滤原始数据查询:单个属性满足条件的原始数据,比如查询所有男性。

直接利用《性别_男》位图去找原始数据就可以了。

多属性过滤原始数据查询:多个属性满足条件的原始数据。比如查询性别为男且收入为1w的记录:

这时就可以将《性别_男》和《收入_1w》两个位图进行 and 操作:

100100 and 101010 = 100000

结果显示只有第一条记录满足条件。

多属性过滤聚合查询:多个属性满足条件的记录聚合值。比如查询男性收入 1w 的人数。

将两个位图进行 and 操作后直接统计 1 的个数,避免了原始数据查询,这是位图索引最快的查询。

实现方式

简单版:用 for 循环来操作两个位图,一个一个位计算。

升级版:用 int 或者 long 来表示位图,直接对 int 或 long 进行 and 操作。

比如 java 中:9 & 10 = 8(1001 & 1010 = 1000)。这样可以一次计算 32 位或者 64 位。

一些约束

位图索引适合枚举类型的取值,连续变化的需要分段离散化才能使用位图。

不知道大家注意到没有,为啥我在性别中加了个中性?因为 bit 有 0/1 两种取值,如果属性也只有两种取值的话,就不需要对每一种取值建立一个位图了,用一个位图就够了,另一个取值将位图取反就可以得到。比如去掉中性,那么《性别_男》= 1000,《性别_女》= 0111。

当删除一个男性记录,可以将《性别_男》中对应位置 0。但是这样取反后就会多出一个女性记录。因此最好还是对属性的每个取值建立位图。

总结

可以在枚举类型的属性上建立位图索引,为属性的每个取值建立一个位图。从而大幅度加速多属性过滤的普通查询和聚合查询。

之前的图有点丑,还是换成这种清爽。读技术文章不易亢奋,欢迎推荐给身边的 IT 人!

0 人点赞