点击上方蓝字关注我们
A/B试验提升课程转化率的成效分析
上篇
1.试验背景和试验假设
2.试验设计和核心指标说明
3.实验所需样本量计算
下篇
1.试验结果分析
2.符号检验
A/B 试验是对比分析中的较为经典的方法，通过控制试验变量研究对照组与试验组之间是否存在显著差异，从而决定是否大规模推广新策略。A/B试验是探究因果关系最为有效的方法，作为数据分析师除了设计A/B试验流程之外，还需要结合试验数据对试验结果进行分析和评估，这个过程就涉及到各类统计学知识的应用。这篇文章会以Udacity A/B 试验案例为背景，通过Kaggle提供的公开数据集，利用Python实现对A/B 试验数据的处理。
如果需要了解A/B试验设计的流程及其试验误区的话可以点击下方链接，查看往期A/B试验相关文章！
数据分析师必会A/B 试验设计及其容易忽略的误区
01
试验背景和试验假设
Udacity A/B 试验课程是由谷歌开发旨在提供A/B 测试的设计和分析的相关课程，该课程为每个用户提供14天的免费试用机会，且每个用户只能申请一次免费试用。
在课程页面上用户有两种选择，其一是开始免费试用，其二是访问课程免费材料。当用户点击“免费试用”按钮之后，会弹出信用卡信息收集按钮，填写信息完毕之后用户即可参加付费课程的免费试用版。除非用户在14内取消付费授权，否则课程平台会在14天后收取课程费用。如果用户点击“访问课程材料”，其能够观看视频并免费参加测验，但不会获得教练支持或认证证书，也不会提交最终项目的反馈。
为了提高整体用户的课程完成率，同时减轻课程老师的辅导压力，Udacity设计了A/B 试验，在试验组增加“每周能投入课程的时间”弹窗，旨在让没有足够时间参与课程的用户主动放弃免费试用机会，从而提升课程完成率。基于以上假设，试验策略如图1所示。
图1 Udacity课程A/B试验策略
对照组：按照现有流程，不做任何改变
试验组：当用户点击“免费试用”之后，会跳出弹窗询问用户每周能够投入课程的时间，如图2所示。当用户表示每周有5小时以上的时间参与学习，则流程正常通过；如果用户表示每周学习时间少于5小时，则网页会提示“您需要更多时间才能完成课程，完成课程后可以免费获得课程材料”。但用户仍然可以继续选择“免费试用”或者“免费访问课程材料”。
图2 Udacity课程试验组策略
02
试验设计及核心监控指标说明
一个成功的A/B 试验的指标至少包括两类，分别是核心指标和辅助指标，更严谨的A/B 试验需要加上第三类指标，即反向指标。在Udacity A/B 试验课程案例中仅使用了核心指标以及辅助指标两类。该案例中用户转化路径的核心步骤包括访问课程页面、点击免费试用按钮、进入课程、付费，在这路径当中访问课程页面以及点击免费试用按钮并不涉及任何策略变化，而用户正式进入课程之后才涉及到策略的改变。该试验以“进入课程”为分界点，将试验抽象为两部分，如下图所示3，不涉及策略变化的部分相当于一组A/A试验，涉及策略改变的部分相当于A/B试验。A/A试验的目的是验证保证流量的随机性，此处涉及到的指标称为辅助指标；理论上来说，A/A试验部分不涉及策略改变，因此A1/A2组的检测指标不应该存在差异显著性；如果最后试验结果显示A1/A2组的检测指标差异较大，则试验可能存在较大的偏差，结果不可取信。而数据分析师较为关心的是策略改变之后对指标带来的影响，即A/B 试验的效果，检测A/B 试验效果的指标称为核心指标。核心指标有时也叫北极星指标，是数据分析师想要在A/B 试验中看到其在试验组和对照组之间发生重大变化的指标；而辅助指标的作用是保证新上线策略不发生原则性错误。
图3 Udacity A/B试验方案设计
为了保证指标的改变对于业务来说是具有真实作用，每个指标都有设置了效应量，如果对照组与试验组相比指标变化小于效应量，即使其在统计学水平上具有显著性，数据分析师也有理由认定该试验是不显著的。
1.核心指标
Udacity A/B试验中，核心指标包括了课程转化率（Gross Conversion）、课程付费转化率（Net Conversion）以及付费留存率（Retention）三个指标，其统计口径详见图4，其中Dmin是前面介绍过的效应量。
图4 Udacity A/B试验中核心指标统计口径
2.辅助指标
Udacity A/B试验实例中，辅助指标包括课程页面独立访客数（Unique Visitors）、免费试用按钮点击数（Button Clicks）以及免费试用按钮点击率（Button Click Rate），其统计口径如图5所示。
图5 Udacity A/B试验中辅助指标统计口径
03
试验所需样本量计算
在正式开始试验之前，数据分析师需要了解目前的业务现状，即数据指标在当前业务的表现情况，也就是通常说的基准值（baseline）。数据基准值可以通过历史数据计算得到，其也样本容量的估计的基础。
1.数据指标基准值
Udacity A/B 试验提供了各个指标的数据基准值，如图6所示。
图6 Udacity A/B试验中数据指标基准值
在这里我们先导入分析相关的包，然后直接将数据指标的基准值记入字典，实现代码如下。
代码语言：javascript复制import math as mt
import numpy as np
import pandas as pd
from scipy.stats import norm
#先将基线值存入字典中
baseline = {
"Cookies":40000,
"Clicks":3200,
"Enrollments":660,
"CTP":0.08,
"GConversion":0.20625,
"NConversion":0.109313,
"Retention":0.109303
}
