Redis使用及源码剖析-8.Redis对象-2021-1-21

2022-02-22 13:39:27 浏览数 (1)

文章目录

  • 前言
  • 一、Redis对象模型
  • 二、字符串对象
    • 1、字符串对象编码形式
    • 2、字符串对象编码转换
  • 三、列表对象
    • 1、列表对象编码形式
    • 2、列表对象编码转换
  • 四、哈希对象
    • 1、哈希对象编码形式
    • 2、哈希对象编码转换
  • 五、集合对象
    • 1、集合对象编码形式
    • 2、集合对象编码转换
  • 六、有序集合对象
    • 1、有序集合对象编码形式
    • 2、有序集合对象编码转换
  • 七、键类型检查
  • 八、命令多态实现
  • 九、引用计数
  • 十、空转时长
  • 总结

前言

本文对Redis中的五种对象模型进行了简单整理，简要介绍了其内部实现机理。

一、Redis对象模型

Redis对象系统包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象这五种类型的对象。每一种对象底层都由前面介绍的SDS，双向链表，哈希表，跳表，整数集合或者压缩列表等一种数据结构实现，下面会详细进行介绍。 Redis 使用对象来表示数据库中的键和值， 每次当我们在 Redis 的数据库中新创建一个键值对时， 我们至少会创建两个对象， 一个对象用作键值对的键（键对象）， 另一个对象用作键值对的值（值对象） 键对象均有字符串对象表示，值对象可以时五种对象中的任意一种，因此当说一个键是列表键时，指的是值的类型是列表对象。对一个键执行type命令时，返回的类型也是键对应的值得类型，如下所示：

代码语言：javascript复制
# 键为字符串对象，值为列表对象

redis> RPUSH numbers 1 3 5
(integer) 6

redis> TYPE numbers
list

Redis定义对象的结构体如下所示：

代码语言：javascript复制
typedef struct redisObject {

    // 类型
    unsigned type:4;

    // 编码
    unsigned encoding:4;

    // 指向底层实现数据结构的指针
    void *ptr;

    // ...

} robj;

其中type是对象类型，定义如下：

encoding是对象采用的编码类型，即该对象采用的底层实现，encoding类型定义如下：

每种对象类型可以由以上编码方式中的几种作为底层实现，具体组合如下所示：

使用 OBJECT ENCODING 命令可以查看一个数据库键的值对象的编码：，如下所示：

代码语言：javascript复制
redis> SET msg "hello wrold"
OK

redis> OBJECT ENCODING msg
"embstr"

redis> SET story "long long long long long long ago ..."
OK

redis> OBJECT ENCODING story
"raw"

ptr则是根据ecoding类型不同指向了具体的底层数据结构。

二、字符串对象

1、字符串对象编码形式

字符串对象的编码可以是 int 、raw 或者 embstr三种类型。如果一个字符串对象保存的是整数值， 并且这个整数值可以用 long 类型来表示， 那么字符串对象会将整数值保存在字符串对象结构的 ptr 属性里面（将 void* 转换成 long ）， 并将字符串对象的编码设置为 int 。示意图如下所示：

如果字符串对象保存的是一个字符串值， 并且这个字符串值的长度大于 39 字节， 那么字符串对象将使用一个简单动态字符串（SDS）来保存这个字符串值， 并将对象的编码设置为 raw 。示意图如下所示：

如果字符串对象保存的是一个字符串值， 并且这个字符串值的长度小于等于 39 字节， 那么字符串对象将使用 embstr 编码的方式来保存这个字符串值。 embstr 编码是专门用于保存短字符串的一种优化编码方式， 这种编码和 raw 编码一样， 都使用 redisObject 结构和 sdshdr 结构来表示字符串对象， 但 raw 编码会调用两次内存分配函数来分别创建 redisObject 结构和 sdshdr 结构， 而 embstr 编码则通过调用一次内存分配函数来分配一块连续的空间， 空间中依次包含 redisObject 和 sdshdr 两个结构， 下所示：

2、字符串对象编码转换

int 编码的字符串对象和 embstr 编码的字符串对象在条件满足的情况下， 会被转换为 raw 编码的字符串对象。

对于 int 编码的字符串对象来说， 如果我们向对象执行了一些命令， 使得这个对象保存的不再是整数值， 而是一个字符串值， 那么字符串对象的编码将从 int 变为 raw 。 在下面的示例中， 我们通过 APPEND 命令， 向一个保存整数值的字符串对象追加了一个字符串值， 因为追加操作只能对字符串值执行， 所以程序会先将之前保存的整数值 10086 转换为字符串值 “10086” ， 然后再执行追加操作， 操作的执行结果就是一个 raw 编码的、保存了字符串值的字符串对象：

代码语言：javascript复制
redis> SET number 10086
OK

redis> OBJECT ENCODING number
"int"

redis> APPEND number " is a good number!"
(integer) 23

redis> GET number
"10086 is a good number!"

redis> OBJECT ENCODING number
"raw"

另外， 因为 Redis 没有为 embstr 编码的字符串对象编写任何相应的修改程序 （只有 int 编码的字符串对象和 raw 编码的字符串对象有这些程序）， 所以 embstr 编码的字符串对象实际上是只读的： 当我们对 embstr 编码的字符串对象执行任何修改命令时， 程序会先将对象的编码从 embstr 转换成 raw ， 然后再执行修改命令； 因为这个原因， embstr 编码的字符串对象在执行修改命令之后， 总会变成一个 raw 编码的字符串对象。

三、列表对象

1、列表对象编码形式

列表对象的编码可以是 ziplist 或者 linkedlist，如执行以下命令后：

代码语言：javascript复制
redis> RPUSH numbers 1 "three" 5
(integer) 3

按照ziplist编码的示意图如下所示：

按照链表编码的示意图如下所示，其中每一个列表元素是一个字符串对象：

2、列表对象编码转换

当列表对象可以同时满足以下两个条件时， 列表对象使用 ziplist 编码： a.列表对象保存的所有字符串元素的长度都小于 64 字节； b.列表对象保存的元素数量小于 512 个； 不能满足这两个条件的列表对象需要使用 linkedlist 编码。

四、哈希对象

1、哈希对象编码形式

哈希对象的编码可以是 ziplist 或者 hashtable 。 ziplist 编码的哈希对象使用压缩列表作为底层实现， 每当有新的键值对要加入到哈希对象时， 程序会先将保存了键的压缩列表节点推入到压缩列表表尾， 然后再将保存了值的压缩列表节点推入到压缩列表表尾。 hashtable 编码的哈希对象使用字典作为底层实现， 哈希对象中的每个键值对都使用一个字典键值对来保存：字典的每个键都是一个字符串对象， 对象中保存了键值对的键；字典的每个值都是一个字符串对象， 对象中保存了键值对的值。 两种编码方式示意图如下：

2、哈希对象编码转换

当哈希对象可以同时满足以下两个条件时， 哈希对象使用 ziplist 编码： a.哈希对象保存的所有键值对的键和值的字符串长度都小于 64 字节； b.哈希对象保存的键值对数量小于 512 个； 不能满足这两个条件的哈希对象需要使用 hashtable 编码。

五、集合对象

1、集合对象编码形式

集合对象的编码可以是 intset 或者 hashtable 。intset 编码的集合对象使用整数集合作为底层实现， 集合对象包含的所有元素都被保存在整数集合里面。 hashtable 编码的集合对象使用字典作为底层实现， 字典的每个键都是一个字符串对象， 每个字符串对象包含了一个集合元素， 而字典的值则全部被设置为 NULL 。 两种编码方式的示意图如下所示：

2、集合对象编码转换

当集合对象可以同时满足以下两个条件时， 对象使用 intset 编码： a.集合对象保存的所有元素都是整数值； b.集合对象保存的元素数量不超过 512 个； 不能满足这两个条件的集合对象需要使用 hashtable 编码。

六、有序集合对象

1、有序集合对象编码形式

有序集合的编码可以是 ziplist 或者 skiplist 。ziplist 编码的有序集合对象使用压缩列表作为底层实现， 每个集合元素使用两个紧挨在一起的压缩列表节点来保存， 第一个节点保存元素的成员（member）， 而第二个元素则保存元素的分值（score） skiplist 编码的有序集合对象使用 zset 结构作为底层实现， 一个 zset 结构同时包含一个字典和一个跳跃表：

代码语言：javascript复制
typedef struct zset {

    zskiplist *zsl;

    dict *dict;

} zset;

zset 结构中的 zsl 跳跃表按分值从小到大保存了所有集合元素， 每个跳跃表节点都保存了一个集合元素： 跳跃表节点的 object 属性保存了元素的成员， 而跳跃表节点的 score 属性则保存了元素的分值。 通过这个跳跃表， 程序可以对有序集合进行范围型操作， 比如 ZRANK 、 ZRANGE 等命令就是基于跳跃表 API 来实现的。 除此之外， zset 结构中的 dict 字典为有序集合创建了一个从成员到分值的映射， 字典中的每个键值对都保存了一个集合元素： 字典的键保存了元素的成员， 而字典的值则保存了元素的分值。 通过这个字典， 程序可以用 O(1) 复杂度查找给定成员的分值， ZSCORE 命令就是根据这一特性实现的， 而很多其他有序集合命令都在实现的内部用到了这一特性。 两种编码方式示意图如下所示：

2、有序集合对象编码转换

当有序集合对象可以同时满足以下两个条件时， 对象使用 ziplist 编码： a.有序集合保存的元素数量小于 128 个； b.有序集合保存的所有元素成员的长度都小于 64 字节； 不能满足以上两个条件的有序集合对象将使用 skiplist 编码。

七、键类型检查

在执行一个类型特定的命令之前， Redis 会先检查输入键的类型是否正确， 然后再决定是否执行给定的命令。 类型特定命令所进行的类型检查是通过 redisObject 结构的 type 属性来实现的： 在执行一个类型特定命令之前， 服务器会先检查输入数据库键的值对象是否为执行命令所需的类型， 如果是的话， 服务器就对键执行指定的命令；否则， 服务器将拒绝执行命令， 并向客户端返回一个类型错误。

八、命令多态实现

Redis 除了会根据值对象的类型来判断键是否能够执行指定命令之外， 还会根据值对象的编码方式， 选择正确的命令实现代码来执行命令。举个例子， 在前面介绍列表对象的编码时我们说过， 列表对象有 ziplist 和 linkedlist 两种编码可用， 其中前者使用压缩列表 API 来实现列表命令， 而后者则使用双端链表 API 来实现列表命令。LLEN命令如下：

九、引用计数

Redis 在自己的对象系统中构建了一个引用计数（reference counting）技术实现的内存回收机制， 通过这一机制， 程序可以通过跟踪对象的引用计数信息， 在适当的时候自动释放对象并进行内存回收，引用计数定义如下：

代码语言：javascript复制
typedef struct redisObject {

    // ...

    // 引用计数
    int refcount;

    // ...

} robj;

除了用于实现引用计数内存回收机制之外， 对象的引用计数属性还带有对象共享的作用。在 Redis 中， 让多个键共享同一个值对象需要执行以下两个步骤： a.将数据库键的值指针指向一个现有的值对象； b.将被共享的值对象的引用计数增一 共享对象的示意图如下：

目前来说， Redis 会在初始化服务器时， 创建一万个字符串对象， 这些对象包含了从 0 到 9999 的所有整数值， 当服务器需要用到值为 0 到 9999 的字符串对象时， 服务器就会使用这些共享对象， 而不是新创建对象。 尽管共享更复杂的对象可以节约更多的内存， 但受到 CPU 时间的限制， Redis 只对包含整数值的字符串对象进行共享。

十、空转时长

除了前面介绍过的 type 、 encoding 、 ptr 和 refcount 四个属性之外， redisObject 结构包含的最后一个属性为 lru 属性， 该属性记录了对象最后一次被命令程序访问的时间：

代码语言：javascript复制
typedef struct redisObject {

    // ...

    unsigned lru:22;

    // ...

} robj

OBJECT IDLETIME 命令可以打印出给定键的空转时长， 这一空转时长就是通过将当前时间减去键的值对象的 lru 时间计算得出的：

代码语言：javascript复制
redis> SET msg "hello world"
OK

# 等待一小段时间
redis> OBJECT IDLETIME msg
(integer) 20

除了可以被 OBJECT IDLETIME 命令打印出来之外， 键的空转时长还有另外一项作用： 如果服务器打开了 maxmemory 选项， 并且服务器用于回收内存的算法为 volatile-lru 或者 allkeys-lru ， 那么当服务器占用的内存数超过了 maxmemory 选项所设置的上限值时， 空转时长较高的那部分键会优先被服务器释放， 从而回收内存。

总结

本文对Redis对象模型进行了简要介绍。

编程算法 云数据库Redis®

0 人点赞