Postgresql HOT技术内幕解读

2019-12-27 19:51:18 浏览数 (1)

我们知道在数据库行数据更新时,索引也需要进行维护,如果是高并发的情况下,索引维护的代价很大,可能造成索引分裂。Pg为了避免这个问题,采用了HOT(堆内元组技术)解决这个问题,下面我们就这个技术详细探讨一下。

我们先看看postgresql中page的结构:

pd_lsn:本页面最后一次变更所写入的xlog记录对应的lsn。

pd_checksum:页面校验和。

pd_lower:指向行指针的末尾(空闲空间开始位置)。

pd_upper:指向最新堆元组的起始位置(空闲空间结束位置)。

pd_special:用在索引页中,在索引页中它指向特殊空间的起始位置,在堆表页面中它指向页尾。

pd_pagesize_version:页面大小以及页面布局的版本号。

pd_prune_xid:本页面可以修剪的最老元组的xid。

从上面的结构我们可以看到,pd_lower和pd_upper分别指向空闲空间的起始和终止位置,而图中的1和2是行指针,分别指向真实的元组位置。

了解了page的结构后我们再来看看元组的结构:

t_mix:插入此元组的事务txid。

t_max:删除或更新此元组的事务txid,如果为删除或更新则为0。

t_cid:command id,在当前事务中,已经执行过多少条sql,例如执行第一条sql时cid=0,第二条cid=2。

t_ctid:保存着执行自身或者新元组的元组标识符(tid),在更新元组后tid指向新版本的元组,否则指向自己,这个我们后面会细细讨论。

介绍完上面的基本概念后我们再来看看postgresql如何通过b树索引找到对应的数据行的。

我们知道索引元组中是kv的结构,key代表的是查询条件的值,value即TID,TID中记录了两部分信息,block=2代表页面号,数据位于第几个块(页面),offset=2代表第二个元组,这样就通过索引直接定位了某一条记录,而不需要对页面进行扫描。

下面我们进入正题,我们再来看看元组是如何更新的,我们知道元组的更新其实是新插入一条记录如下图所示,如果没有hot技术的话,每更新一个行,就会插入一个元组,同时会在索引页中新增一一条元组,该元组中的tid指向新的元组,而索引的维护开销也是非常大的,可以想象,这样的话在频繁更新的系统中不仅数据会膨胀而且索引也会膨胀,同时维护索引的开销太大。

于是postgresql使用HOT(堆内元组技术)解决这个问题,总体思想是在更新时通过修改指针指向定位新元组,而不需要插入相应的索引元组。我们来看看hot更新的流程:

在元组结构的t_informask2字段中有两个标记位,heap_hot_update和heap_only_tuple,在更新tuple1时,postgresql会将tuple1(老元组)的标记位置为heap_hot_update,同时将tuple2(新元组)的标记位置为heap_only_tuple。

1.首先找到目标数据的索引元组

2.然后通过索引元组中的位置,访问行指针数组,找到行指针1

3.读取tuple1

4.发现tuple1的标记位是heap_hot_update,于是通过tuple1的t_ctid字段读取tuple2(上面也提到过,当元组被更新过后,元组的t_ctid字段指向新的元组)

上面的过程其实访问了tuple1和tuple2两个数据块,这时我们可能会考虑到一个问题,如果tuple1因为vacuum清理掉了,就无法通过tuple的ctid字段定位到tuple2了,为了解决这个问题,postgresql会在合适的时候进行行指针的重定向(redirect),这个过程称为修剪。

此时访问新元组的流程如下:

1.首先找到目标数据的索引元组

2.然后通过索引元组中的位置,访问行指针数组,找到行指针1

3.通过行指针的重定向,找到行指针2

4.通过行指针2定位tuple2

在postgresql进行修剪时,会挑选合适的时机来清理死元组,这个过程称为碎片整理,如下图所示:

碎片整理并不会清理索引元组,所以碎片整理比普通vacuum清理的开销要小的多。HOT特性降低了表和索引的空间消耗,同时减少了vacuum需要处理的元组数量,对于性能有很好的提升。

当然HOT技术也不是万能的,它也有不适用的场景,比如下面两个场景:

1.当更新的元组和老元组不在同一个page中时,指向该元组的索引元组也会被添加到索引页面中。

2.当索引的key值更新时,会在索引页面中插入一条新的索引元组。

学习精益求精,技术永无止境,加油吧。

0 人点赞