实时数据系统中几种常用的验证方法

2022-09-29 17:22:02 浏览数 (1)

很多场景中,服务端需要对用户的请求进行验证,比如QQ登录模块、统计工具的数据收集模块、品牌广告对应id的match等。针对不同的场景,可以有不同的验证方法,本文将介绍工程中常用的几种。

直接使用数据库进行验证

方法1:每次请求时,从数据库中查询出key对应的秘钥,然后和请求的秘钥进行验证。 场景1:适合QPS非常低的场景,比如内网的权限认证系统 方法2:和方法1类,数据库使用内存数据库如redis 场景2:内存数据库的使用成本很高,如果预算允许的话,可以扛住高并发的请求。比如在投放品牌广告时,我们事先计算出目标用户的ID,将其导入内存数据库,针对每次广告请求,从内存数据库中查询,看是否能和目标用户match,如果match的话,就曝光一条品牌广告

缓存查询结果

方法:通过缓存将key对应的秘钥缓存起来。针对每一次请求,如果缓存中没有对应的数据,则从数据库中查询数据进行验证,然后将key对应的秘钥更新到缓存中,以供下次使用。 场景:可以扛住高并发的请求,如果请求的key比较少的话,可以得到精确的结果。如果请求的key的数据量非常巨大,则使用部分数据结构,能计算出在误差允许范围内的统计结果。比如统计日活千万级app的实时新增设备数,app打开时,会上报日活事件,同时附带设备ID。我们可以将app的历史设备ID通过bloom filter缓存下来,如果不在其中认为是一个新增设备,同时将设备ID更新进入bloom filter中

使用二级缓存

方法:保存两个缓存,一个用于判断key是否合法,一个存放key对应的秘钥,判断请求的秘钥是否合法。请求进来时,首先从第一个缓存中查询key是否合法,如果合法,则从第二个缓存中,查询出对应的秘钥并和请求的秘钥进行对比,如果match,则认为请求合法。每次请求缓存时,如果缓存中没有对应的key,都需要查询数据库,并将key更新到缓存中 场景:适合key不是很多,但是请求量非常巨大的场景,第一个缓存可以很好地防止有人利用接口攻击系统。比如现有的app统计工具,因为没有建立长连接,app每次打点时,都要验证是否是合法的SDK上传上来的点,这种系统的QPS非常高,但是app量即key不是很多

总结

因为现实中IO的成本非常高,所以我们要针对不同的业务场景,使用不同的验证方法对数据进行验证。而实时系统中,某些场合对数据的准确性要求不高,这个时候,就可以利用一些数据结构如bloom filter来提升程序的性能

0 人点赞