结合CDN以及客户端慢速日志特征判断黑产

2022-01-12 23:59:50 浏览数 (1)

背景


随着网红主播,越来越受欢迎,产生了非常大的流量经济效应,因此引起了大量第三方黑产公司关注,为了提升主播热度和排名,出现了很多“机器粉丝”,扰乱直播平台运营,给主播和平台带来了非常大的经济损失。

涉及的直播平台有抖音,快手,斗鱼,虎牙,B站等直播平台,哪里能赚钱,哪里就有黑产的身影,通过逆向分析业务逻辑,了解指标含义,就能制定对应的黑产策略。

问题分析


客户端卡顿日志:

异常的客户端日志:

出现了平均播放时长为0的卡顿日志:

服务器端日志

上述这些日志上报的数据都是异常的,上报量还是挺多的,可以重点打击这些异常客户的播放行为。

根据客户端日志统计的弱网ip情况:

内部黑产库,来综合定位黑产信息:

通过cdn的日志,以及其它直播平台的特征分析,黑产的请求特征如下:

1、请求非常频繁。

2、为了省黑产成本,请求时间非常短,短时间拉高qps。

3、建立连接后,不收数据,只拉高在线人数,不产生流量。

4、设备持续充电。

5、设备在直播过程中,完全不会出现位置移动。

解决方案


方案架构

自建黑产库

黑产信息建立是一个长期积累和优化的过程,规则可以很复杂,也可以很简单,重点是黑产信息收集,黑产信息来源,可以是客户端播放日志,客户操作行为,cdn播放日志,以及其它产品收集的客户的行为分析。

直播客户端日志

客户端日志:

1、通过播放时长来判断

2、延迟时间

3、错误率

4、异常ip请求频率

客户端用户行为数据

可以通过端上收集客户使用app的行为,进行分析,判断是正常合法的客户,还是机器人,或者模拟器操作的。一般定时操作,都是脚本或者机器在操作的。

cdn播放日志

虽然客户端能收集到丰富观众的使用信息,但有些异常的请求,不是通过合法的客户端过来的,或者是脚本模拟的请求,这部分信息需要利用服务端信息进行补充。服务器作为网络连接另一端,有很多信息是客户端获取不到的,需要服务器端的日志,进行补充分析。

通过分析cdn的异常的日志,下面是其它直播平台的分析策略,通过断连接和发送超时的次数来判断,是否是黑产。

某直播平台的打击策略:

1、ip黑白名单,业务方负责ip名单的维护,平台方负责打击。

2、ua和referer信息,打击带特殊信息的请求。

3、区域控制,限制部分区域的访问。

其它业务

可以通过分析点播,静态,以及其他产品的上报数据,来收集黑产信息。

第三方黑产库

如果没有自己的黑产库,可以使用第三方的黑产库。

非IP规则

通过评估ua,referer等http头部进行打击,也可以通过设计复杂鉴权逻辑。

风险点

整个方案最关键的点,是怎样有效的提高打击的成功率,如果控制的不好,容易造成误判。

结论


整体思路是通过cdn和客户端的异常日志,来建立一个黑产特征库,对黑产的请求进行提前拒绝,避免经济损失。

0 人点赞