背景
随着网红主播,越来越受欢迎,产生了非常大的流量经济效应,因此引起了大量第三方黑产公司关注,为了提升主播热度和排名,出现了很多“机器粉丝”,扰乱直播平台运营,给主播和平台带来了非常大的经济损失。
涉及的直播平台有抖音,快手,斗鱼,虎牙,B站等直播平台,哪里能赚钱,哪里就有黑产的身影,通过逆向分析业务逻辑,了解指标含义,就能制定对应的黑产策略。
问题分析
客户端卡顿日志:
异常的客户端日志:
出现了平均播放时长为0的卡顿日志:
服务器端日志
上述这些日志上报的数据都是异常的,上报量还是挺多的,可以重点打击这些异常客户的播放行为。
根据客户端日志统计的弱网ip情况:
内部黑产库,来综合定位黑产信息:
通过cdn的日志,以及其它直播平台的特征分析,黑产的请求特征如下:
1、请求非常频繁。
2、为了省黑产成本,请求时间非常短,短时间拉高qps。
3、建立连接后,不收数据,只拉高在线人数,不产生流量。
4、设备持续充电。
5、设备在直播过程中,完全不会出现位置移动。
解决方案
方案架构
自建黑产库
黑产信息建立是一个长期积累和优化的过程,规则可以很复杂,也可以很简单,重点是黑产信息收集,黑产信息来源,可以是客户端播放日志,客户操作行为,cdn播放日志,以及其它产品收集的客户的行为分析。
直播客户端日志
客户端日志:
1、通过播放时长来判断
2、延迟时间
3、错误率
4、异常ip请求频率
客户端用户行为数据
可以通过端上收集客户使用app的行为,进行分析,判断是正常合法的客户,还是机器人,或者模拟器操作的。一般定时操作,都是脚本或者机器在操作的。
cdn播放日志
虽然客户端能收集到丰富观众的使用信息,但有些异常的请求,不是通过合法的客户端过来的,或者是脚本模拟的请求,这部分信息需要利用服务端信息进行补充。服务器作为网络连接另一端,有很多信息是客户端获取不到的,需要服务器端的日志,进行补充分析。
通过分析cdn的异常的日志,下面是其它直播平台的分析策略,通过断连接和发送超时的次数来判断,是否是黑产。
某直播平台的打击策略:
1、ip黑白名单,业务方负责ip名单的维护,平台方负责打击。
2、ua和referer信息,打击带特殊信息的请求。
3、区域控制,限制部分区域的访问。
其它业务
可以通过分析点播,静态,以及其他产品的上报数据,来收集黑产信息。
第三方黑产库
如果没有自己的黑产库,可以使用第三方的黑产库。
非IP规则
通过评估ua,referer等http头部进行打击,也可以通过设计复杂鉴权逻辑。
风险点
整个方案最关键的点,是怎样有效的提高打击的成功率,如果控制的不好,容易造成误判。
结论
整体思路是通过cdn和客户端的异常日志,来建立一个黑产特征库,对黑产的请求进行提前拒绝,避免经济损失。