任何接触过互联网产品开发的人都知道，无休止的测试，对用户所有的改动发布以数据经验作为决策依据是构建出色产品的一部分。字节跳动2012年成立之初便开始使用A/B测试；Amazon不仅使用A/B测试优化用户的购物体验提升订单转化，还开放给平台商家使用；谷歌每个月从上百个实验中找到有效方案，有营收提升2%，10亿美元的规模。A/B测试是一个互联网公司的标配。
Instead of saying "I have an idea," what if you said "I have a new hypothesis , let's go test it, see if it's valid, ask how quickly can we validate it." And if it's not valid, move on to the next one. —— Satya Nadella CEO, Microsoft
微软CEO Satya Nadella 在business insider采访中，简练地描述了微软基于实验-分析-决策的数据驱动文化。
01
什么是A/B测试？
A/B测试，也称为A/B实验、分桶实验或对照实验。指当个变量具有两个版本A和B的随机试验。基本思想是我们从线上的流量中取出一部分，完全随机分配给A版本和B版本，在结合一定的统计方法，得到这两个版本相对效果的准确估计，并对结果进行量化分析。分析那个版本在特定时间段内表现好，并进行推广或放量。一般用来测试产品的新特性或新功能。善用实验，通过数据驱动产品，可以帮助我们降低验证成本和决策风险，快速达成共识，提升创新效率。
运行测试的目的是找到最好改进我们产品的方案，我们可能会提出改进的假设，但是无法从按钮A和按钮B之间做出决定，做出最准确最明确的的决策的唯一方式就是通过测试数据驱动决定。
这种基于小样本的实验方法同时满足低风险、抗干扰和量化结果的要求，因此在互联网或者其他行业内被广泛应用。
02
为什么要进行A/B测试？
A/B测试在很多互联网公司被广泛使用，对于产品经理来说是绝对必不可少的，几乎所有的PM在自己的职业生涯的某一个阶段都会参与测试。我们需要如何计划、执行和监控A/B测试，以及知道如何处理测试结果。需要将数据转化为洞察力，通过数据进行产品策略的精准决策。A/B测试主要用于实现转化目标、改善用户体验和增加收入提供决策依据。
用AB测试的应用场景：
产品侧：
- 功能迭代
- 用户路径设计
- UI&交互优化
运营侧：
- 活动页面优化
- 推送方案择优
- 投放落地页优化
研发侧：
- 推荐算法优化
- 灰度发布
03
如何进行A/B测试
1、提出问题
例如：为什么投放广告的页面点击率和转化率不高？为什么推荐系统的内容点击不理想？不同的标题访问网站的人数不同，应该使用哪个？等等
2、提出假设
确定我们试验测试什么？以及假设的结果是什么？我们不想运行测试后结果是不可追踪的。
测试不是盲目进行的，需要根据产品的真实痛点做出假设，找到合适的解决方案。
如发现某一个功能的用户留存率很低，我们需要查看这个功能并假设什么样的产品策略可能会增加留存率？更换一套推荐系统的算法模型？
3、定义成功指标
我们需要修改功能的哪些参数？每一个试验或者试验集合分别要测试什么？在什么层进行测试？
如不同的按钮文案，测试不同文案的曝光、按钮的点击次数和进入页面的流量进行统计。或者推荐系统不同模型推荐内容曝光、点击和进入内容页面的流量统计。在此还需要计算测试的运营成本，并将其与成功改进功能的潜在收益进行比较。
4、试验的流量分配、触发条件、时间跨度
流量使用什么分配类型和分配条件，在多大比例的流量下触发试验，测试周期多长时间。
如比较常见的IMEI进行分类或者根据设备ID进行流量分配。
5、埋点上报
对需要分析和观察的指标进行埋点上报。埋点上报可以参考下文。
如何设计产品的数据埋点方案？
6、实验分析
分析试验组和对照组组的数据效果以及统计显著性之p-value值。
7、实验决策
根据试验的分析的结果，对产品功能进行决策，最终评估功能是否上线，达到数据产品迭代优化的效果。
04
A/B测试案例研究
字节跳动火山引擎提供出色A/B测试平台工具，字节系产品的每个功能都经过严格测试。
例如头条视频的更名，今日头条首页UI的改版、广告投放试验等。
头条视频APP更名A/B测试试验：
试验背景：为了使“头条视频”APP在短视频行业的用户中有一个清晰的品牌辨识度，进行更改名称。首先进行前期用户调研，进行收集筛选名称，将选定的4个名称进行A/B测试。
试验目的：验证哪一个应用名称可以提升APP在应用商店的点击下载率。
试验设计：
试验结论：西瓜视频和奇妙视频点击率位列第一第二，且点击率差距不显著。结合用户调研、A/B测试数据等因素综合考量，最终决定将头条视频更名为西瓜视频。
