数据分析中,为什么1 1不等于2?
本文首发于腾讯内部知识分享平台「乐问KM」、腾讯官方公众号「腾讯大讲堂」《短视频之数据分析:为什么1 1不等于2?》,作者日后创建个人公众号,以转载形式发布本文。
这个问题在工作中较常见,我们经常听说A部门说自己大盘增量贡献了100W的收入,B部门说自己贡献了200W,都没有说谎,但是大盘却只有250W的增长。
这是为什么呢?
本文将就这类问题详细讨论,下面个我工作中遇到的案例。
------ 案例 ------
产品迭代的策略A和策略B
1、小流量实验的时候,策略A可提升某指标20%,策略B可提升30%;
2、此时分别加大流量,仅保留小流量对照组,此时策略A提升30%,策略B提升40%;
3、大盘仅仅上涨了60%;
我们发现:
1、加大流量后,为什么策略A和策略B的增量贡献变化了?
2、大盘涨幅60%,为什么超过小流量阶段的策略A和策略B增量之和(即20% 30%=50%),但低于大流量阶段的增量之和?
为突出本文的重点,我们暂首先排除一些确有可能的原因,如用户结构变化、外部因素等,同时我们经过反复论证大盘的涨幅60%确实由这2个策略带来。
AB实验量化的结果,按理说应该是准确的,但为什么会出现上述情况呢?
其实AB实验虽准确,但会涉及到策略之间的叠加效应
------ 叠加效应 1 1>2 ------
以某个信息流产品,举个例子来说:
1、A是推荐团队,在算法方面不断迭代优化,为大盘的总时长贡献
2、B是增长团队,在产品承接用户迭代作出的贡献
3、Y是推荐、增长团队相互放大促进增长的贡献(当然,实际Y不一定是上图中一样是A、B等比例乘积的)
所以:
1、小流量实验,因为策略A和策略B的实验是近似独立的,同时作用2个策略的用户非常少,相互促进的作用(Y)没有充分体现
2、大流量实验,大部分用户同时作用了2个策略,相互促进的Y有得到充分体现,1 1>2的就体现出来了
3、计算各个策略的贡献,会重复计算Y部分
一般情况下,1 1>2是我们鼓励的方向,这说明大家在合作共赢,至于在大流量实验时重复计算收益的问题,我们可以核算机制解决
------ 抑制效应 1 1 < 2 ------
上面提到相互促进,有个疑问,有没有策略A和策略B相互抑制的情况呢?
当然存在,并且实际工作中还很普遍,如下图示
以某增长业务为例,举个例子来说:
1、策略A,刷红包视频,领视频红包
2、策略B,看视频,攒时间换金币
上面2个策略同时上线,
1、多个策略,确实可能存在相互促进部分Y
2、小流量阶段,A的贡献是A Z部分,B的贡献是B Z部分,AB共同作用较少,所以相互抑制部分不大
3、大流量阶段,因产品形态雷同,本质上都是看视频获得奖励,2个活动交叠贡献Z就会比较大,体现的是相互抑制较大,而不是相互促进
4、所以当两个策略进入大流量阶段后,会体现为1 1<2
一般情况下,1 1<2是我们不鼓励的方向,这说明大家在做雷同的事情。
------ 联合实验 ------
实际上,大多数时候,从产品理解,都会同时存在「相互促进」和「相互抑制」这2部分,从结果角度,其实我们只需要关心「整体交叠影响」即可。
真实存在的只有「整体交叠影响」,并不真实存在「相互促进」和「相互抑制」这2部分,拆分只是为了方便理解。
为了清晰量化「整体交叠影响」,我们可以通过A实验层域模型,进行联合实验,清晰量化交叠贡献。
简单来说,就是在大流量阶段,我们保留1个实验组,即不受策略A影响,也不受策略B影响。
详细可参看文章《浅谈AB Test实验设计(二)——同时多实验并行和长期实验》
------ 论功行赏的问题 ------
从大局视角出发,关注大盘指标就可以了。
但对于具体业务,如何分配业绩也很重要,当交叠贡献时,如何论功行赏。
例如,
1、负责新增用户的团队,今日引入新用户10W人,当前用户生命周期为10天,新增团队贡献100W日活跃天
2、负责留存的团队,将大盘用户生命周期提高2天,大盘用户100W,留存团队贡献200W日活跃天
那么这里引入一个问题,新用户和留存共同作用的部分,如何计算?
这里一般可以采用边际收益量化,即:
1、新增用户的活跃天收益,按照留存提高前的增量贡献计算
2、留存团队的的贡献,用户数按照不含近期的新增用户计算
3、每过一段时间,再重新制定基数
总的来说,论功行赏的问题,方法不一定唯一,不同的核算机制会牵引业务朝着不同的方向发展,一般情况下需要根据管理者希望的牵引方向而制定。