预计阅读时间：6min
阅读建议：本文为实验前期需关注的内容，涉及产品、数分同学的工作，篇幅不长，希望对你有所帮助。
解决痛点：实验设计前，需要综合考虑哪些因素？如何输出规范的实验假设，提高产品与数据同学的沟通效率？
00
序言
在之前的文章中，小火龙和大家分享了「AB实验最佳流程」，感兴趣的同学可以戳蓝字部分。由于篇幅原因，当时部分内容没有展开，从本期开始，「AB详解系列」会为大家逐一展开，帮助你在学习完本系列文章后，能够形成一套「规范化 模块化」的AB实验体系，在工作中应用自如。
上期遗留的第一个问题「AB实验准备阶段，创建实验假设的详细内容及注意事项」。在开展实验前，产品同学会针对现有的业务背景，发掘一些可能的改进点，以实验假设为基础，设计实验。此环节owner为产品同学，而数据同学是需要帮忙把关的。
创建实验假设主要涵盖五个步骤，明确实验原则→明确实验背景→探索改进点→筛选实验对象→预估实验影响，每个步骤都有相应的原则及注意事项，下面会逐一展开，并提供一个案例供大家参考。
01
明确实验原则
正所谓“无规则不成方圆”，实验也是如此，这些原则可以让实验变的更简单、更可靠，在实验设计初期需重点关注。规则如下：
- 聚焦核心策略原则：由于流量是有限的，需要聚焦核心策略，优先进行实验，避免将N种策略同时平铺执行。
- 化繁为简原则：由粗至细设计实验，避免实验过于复杂、过于下钻。
- 单一变量原则：实验分桶之间，至少有两个分桶仅相差一个变量，避免只有两个分桶，但涉及多个策略，无法归因到底是哪种原因所导致。
- 宏观设计原则：实验结论是正向，并不代表实验桶每个个体都是正向，实验的目的是验证对宏观用户有效。
02
明确实验背景
实验原则是通用的，而实验背景是产品特有的。实验背景要经得起以下四点“灵魂拷问”：
- 实验是在什么背景下设计的？
- 实验的目的是什么？
- 当实验显著时，是否可以达到实验预期的目的？
- 实验策略是否存在冲突的情况？（要提前将可能影响实验的混淆因子想清楚，并剔除出去。）
03
探索改进点
在明确了大的背景下，如何发掘可能的改进点，从什么方向着手思考？给出两个方向，大家可以参考。
举个例子
产品要在3个月内提升用户留存，要怎么做呢？
方向一：挖掘相关关系
AB实验的本质是「因果关系」，但当我们在思考哪些点可能对期望提升指标产生影响时，可以通过历史数据的相关关系进行探索。
举个例子
产品的「登录」与「留存」正相关性较强，则可以考虑登录方面的策略实验，通过提升登录率，从而提升留存，虽然相关性≠因果性，但思路是可以尝试的。
方向二：业界头部产品参考
可参考业界优秀产品的设计思路，来进行改进优化，并通过实验进行验证。
04
筛选实验对象
当明确了实验要做哪些方向的改进后，仍需明确要在哪些对象上生效？筛选实验对象。有三个递进的层次，可以参考。
层次一：明确实验单元
实验单元是触发实验的「基础单位」，通过哈希方式，随机分配到指定的实验分桶中，实验单元一般有三种粒度：
- 用户粒度：最常见的实验单元。用户在同一个实验内只可能出现在一个分桶中，且不可以发生漂移。
- 会话粒度（session）：会话指同一用户在一段时间的应用行为。例如：某用户在每30min内的行为，会作为一个颗粒度，随机分配到分桶中。
- 页面粒度：相同页面，每次刷新，都可作为一个颗粒度，使用户体验到不同的策略。
层次二：筛选用户标签
实验策略可以覆盖全量用户，也可以仅覆盖部分版本、年龄、性别的用户。对于用户标签的筛选，即可以在设计阶段将规则卡死，仅部分符合规则用户进入实验；同样也可以对全量用户生效，然后在实验评估阶段做人群筛选。
层次三：确定分桶时机
实验策略除了可以指定用户生效与否，同样可以指定生效时机。例如：只有用户进入活动页后，才对用户进行分桶打标。这样做的好处是可以防止无效用户稀释实验结果。
05
预估实验影响
在以上内容确认后，最后就要对实验可能的影响做一些预估，作为实验结论的先验数据。其中涵盖：
- 策略所带来的影响面有多大？
- 期望提升指标预计能提升多少？
- 对于北极星指标的影响有多大？
06
实验假设案例
以上就是实验设计前需要考虑的内容。下面分享一个案例，帮助你更好的理解：
实验背景
针对以上信息流产品，希望提升用户的留存情况。通过业界产品调研，发现某些类目的视频自动播放，对人均时长有所提升，并可能提升留存。在这样的背景下，提出了如下假设。
实验假设
产品希望提升用户的粘性，将「次留」作为期望提升指标。根据对「业界产品的调研」，体育视频的自动播放可能对用户的留存有正向影响。因此，实验对象设定为「进入到体育类目的用户」，对实验组实施策略为「体育类目视频自动播放」，实验预计执行14天，期望「次留提升1pp」。
以上就是本期的内容分享，希望帮助你对实验假设有一个更加清晰的认知。码字不易，如果觉得对你有一点点帮助，欢迎「关注」「点赞」「分享」哦，我会持续为大家输出优质的「原创内容」~~
