HyperLogLog统计网站UV 太丝滑

2024-01-26 09:52:36 浏览数 (1)

网站的UV定义

网站的UV(Unique Visitor)是指独立访客的数量,用于衡量网站的访问量和流量。在网站统计中,通常使用UV来度量网站的独立访客数量。

UV的定义有两种常见方式:

Cookie方式:通过浏览器的Cookie来标识和追踪访客。当一个访问者首次访问网站时,服务器会在其浏览器中生成一个唯一的标识符(通常是一个Cookie),用于标识该访客。随后,如果同一访客再次访问网站,服务器会识别出该标识符,并将其计算为一个UV。在这种方式下,如果访客在不同的浏览器或设备上访问网站,可能会被计算为多个UV。

IP地址方式:通过访客的IP地址来标识和追踪访客。当一个访问者首次访问网站时,服务器会记录其IP地址,并将其计算为一个UV。随后,如果同一IP地址再次访问网站,服务器将不会将其计算为一个UV。在这种方式下,如果多个访客在同一局域网或使用同一代理服务器访问网站,可能会被计算为一个UV。

如何统计

无论cookie的方式,还是ip地址的方式去做统计,最重要的一点,就是要去重,一个集合里面不能有重复元素。

Redis 的集合类型中,Set 类型默认支持去重,所以看到有去重需求时,我们可能第一时间就会想到用 Set 类型。

有一个用户id为10086的访问 page1 时,你把这个信息加到 Set 中:

代码语言:shell复制
sadd uv:page1 10086

用户 10086 再来访问时,Set 的去重功能就保证了不会重复记录用户 10086的访问次数,这样,用户 1 0086就算是一个独立访客。

当你需要统计 UV 时,可以直接用 SCARD 命令,这个命令会返回一个集合中的元素个数。

代码语言:shell复制
SCARD uv:page1

但是,如果 page1 非常火爆,UV 达到了千万,这个时候,一个 Set 就要记录千万个用户 ID。能占用多少内存空间呢?我大概计算下:

1千万用户访问page1

如果使用用户id统计UV,一个id,平均占用5个字节

10000000*5/1024/1024=47Mb

如果使用ip统计UV,用字符串来储存每个 IPv4 地址最多需要耗费 15 字节(格式为 'XXX.XXX.XXX.XXX' )

10000000*15/1024/1024=143Mb

对于一个搞大促的电商网站而言,这样的页面可能有成千上万个,如果每个页面都用这样的一个 Set,就会消耗很大的内存空间,想想都恐怖。那我们就不能用集合的方式来存储了,这个时候我们需要使用 HyperLogLog 这种数据类型来做这件事了。

HyperLogLog

HyperLogLog(下文简称为 HLL)是 Redis 2.8.9 版本添加的数据结构,它用于高性能的基数(去重)统计功能,它的缺点就是存在极低的误差率。

HLL 具有以下几个特点:

  • 能够使用极少的内存来统计巨量的数据,它只需要 12K 空间就能统计 2^64 的数据。
  • 统计存在一定的误差,误差率整体较低,标准误差为 0.81%。
  • 误差可以被设置辅助计算因子进行降低。
  • HyperLogLog 只会根据输入元素来计算基数,而不会储存输入元素本身,所以 HyperLogLog 不能像集合那样,返回输入的各个元素。

HyperLogLog命令

HyperLogLog 的命令只有 3 个。

添加元素 pfadd

代码语言:shell复制
pfadd key element [element ...]

统计不重复的元素 pfcount

代码语言:shell复制
pfcount key [key ...]

合并一个或多个 HLL 至新结构

代码语言:shell复制
pfmerge destkey sourcekey [sourcekey ...]

pfmerge 使用场景

当我们需要合并两个或多个同类页面的访问数据时,我们可以使用 pfmerge 来操作

小结

当需要做大量数据统计时,普通的集合类型已经不能满足我们的需求了,这个时候我们可以借助 Redis 2.8.9 中提供的 HyperLogLog 来统计,它的优点是只需要使用 12k 的空间就能统计 2^64 的数据,但它的缺点是存在 0.81% 的误差,HyperLogLog 提供了三个操作方法 pfadd 添加元素、pfcount 统计元素和 pfmerge 合并元素。

0 人点赞