你好,这里是巡山猫编辑部,我是巡山猫。
上一篇,我们从理论的角度,讲了如何分析一个产品新功能的效果
「原理」如何分析产品新功能的效果?
今天,我们就来举一个具体的例子。
首先来回顾一下,我们需要从三个层次来度量产品效果:
- 从大盘出发,度量该功能对整体产品的一个贡献
- 从产品本身出发,分析产品本身的效果
- 从技术层面出发,为了保证技术层面的服务不受影响,建立护栏指标
以抖音购物功能举例
我们以当前抖音 App 中视频的“购物车”功能为例。
它整体的操作路径基本是这样:
我们可以看到,并不是所有的视频都会有这个按钮,只有部分视频中会有该功能。
这个应该是由号主自己可以选择设定的。点击进入后,我们会看到详细的商品列表页、商品详情页,之后就可以选择付费购买了。
按照我们上文说的分析步骤,我们一步步来操作。
1、确定功能目标
我们可以明确地知道,抖音做这个功能就是为了收入,其次附带功能是提升用户的留存。
因为通过视频种草后可以直接购买,久而久之也会不断扩展用户使用需求,逐步提高用户留存。
2、梳理整体指标
首先我们要拆解大盘贡献。
通过目标,我们可以确定和大盘指标有联系的三个指标:
收入(GMV)、点击了该功能的视频数(以及人数次数等)、该功能的大盘留存率。
- GMV 可以度量该功能能够为抖音整体商业化带来的收入;
- 点击了该功能的视频数可以度量大盘中有多人会使用该功能;
- 而大盘留存率可以通过对比未使用该功能的用户的大盘留存率,拆解出该功能对大盘留存的提升。
其次我们要度量功能效果。
纵向上,我们需要明确地知道各个页面的 PV、UV,以及整体的功能留存率。
横向上,我们需要知道各个页面中商品的点击数、细节模块的点击数、页面的停留时长、页面的跳出率等。
纵向上度量流量的大小,横向上度量用户消费的情况,建立一个当前功能的页面漏斗,为后期迭代做好数据准备。
最后我们要建设护栏指标。
因为对于抖音来说,宁愿没有该功能也得使视频正常播放。
而这个功能应该是嵌入在一个播放容器中,所以我们需要以下几个护栏指标:
播放器加载成功率、视频播放成功率以及该功能的打开成功率。
播放器及视频的成功率是为了保证视频的播放不受该功能影响,而该功能的打开率则是为了监控该功能的稳定性。
3、对比功能效果
首先是外部对比,外部对比更多是同竞品对比或者类似产品的对比,比如快手这种形式的电商对比,或者其他直播中类似的带货数据的对比。
其次我们重点来说一下内部对比,内部对比也可以分为几种对比角度。
- 页面及功能之间的对比。 比如页面的哪些功能数据相比其他页面更好,我们可以以实际产生的收入来作为衡量标准。因为有的漏斗虽然量少,但是转化很高,有的则相反。
- 商品之间的对比。 比如同类型的产品,我们在哪些视频中卖的更好,哪些视频中卖的效果不好,这就是商品和视频的匹配度问题。在上架商品时,我们可以推荐或者引导号主上架的商品类型。
- 受众之间的对比。 同一个视频,同一个商品,对于不同用户的购买率如何,一定会有差异,那我们如果为了提高 GMV,视频推荐策略中是否需要考虑到这个特征。
针对上面说的三个角度:
如果通过页面和功能的对比,我们通过漏斗和转化率,我们能知道每个页面的哪些环节需要优化;
通过商品之间的对比,我们知道不同人群更喜欢哪种商品,从而在投放商品至不同的渠道时,有针对性的投放商品;
通过受众之间的对比,我们能知道不同的人群,对于商品的价格偏好以及商品的偏好,我们能更有针对性的制定相应的销售优惠策略。
做完这三步,基本初步的分析也完成了。
明确了分析目标,建立了度量标准,总结了效果结论。后期随着业务的发展不断的迭代,我们还需要继续在此基础上随着业务去修改。
产品分析踩坑
在分析的过程中,我们还需要注意一些常见的坑。稍有不慎,我们就会陷入到功能本身中去。就评估一个产品或者做一件事情来说,我们还是需要将自己“脱离”业务,从一个更高的角度去观察,计划之后,再来具体执行。
以下,就是产品功能分析中几个常见的坑。
1、目标不明确,大而全
我们在评估之初,就明确了当前功能的目标是什么。基于这个目标,我们才做了这次度量和评估。
相应地我们的指标体系就会更多地围绕这个目标去建立,同样,对比的时候我们也需要基于同样的目标去对比评估。
很多时候,我们经常看到有些分析报告洋洋洒洒的写了很多,又大又全,罗列了这个指标那个数据,但是根本不知道在说什么,没有一个明确的主题,这点是致命的,因为数据罗列的参考价值非常低,还需要读报告的人去总结思考。
比如我们在微信上做了一个购物的点击按钮,点击进入后,用户可以在里面选购商品(类似淘宝京东)。
但是我们在分析这个按钮及后续页面的功能时,我们完全没有聚焦到该功能带来的GMV,而是聚焦在了产品的漏斗,产品的页面停留情况,产品的页面点击率,写了非常多的指标,而忽略了本身该功能的目的是增加 GMV。
所以我们在评估产品功能时,需要聚焦到产品的核心目标。
量化了核心目标,通过核心目标量化后的具体指标,拆分成各个子项的指标,从而能够从大到小的拆分出产品的核心指标体系。
2、细节不清晰,度量口径不明确
在建立指标去度量这个功能时,我们需要明确定义好指标口径及逻辑。自己千万不要想当然的根据自己的理解建立指标。
因为如果这个度量的需求是别人提给你的,你的理解不一定是别人的理解,口头的沟通往往都有一定的 GAP,那分析结果可能就天差万别。
比如指标中有一项是留存率,你理解是大盘留存率,需求方说的是功能留存率,结果最后指标出来,留存率指标远超预期,这种就属于细节上需要去明确的东西。
3、没有一个具体的数据结论
很多时候,我们做完了报表建立了指标,到最后罗列下数据就完事儿了。这样是不对的。
首先我们罗列了指标,那这些指标总结下来产品是好还是坏?其次这些指标是否有和其他产品对比,评判好坏的标准是什么也没有说。
最后基于好还是坏,我们这个产品功能哪里需要改进,哪里可以保持,也没有一个建议。那我们做这次分析的意义何在?只是看了下数据吗?
总结一下,分析评估一个新产品功能,不仅需要有层次条理,还需要有细节,最重要的是有结论有建议。
总结
当我们要去度量一个产品功能时,千万不要一上来就扎进产品中去。
比如一上来就和产运同学讨论某个细节功能的指标,或者某个页面的指标。
我们应该站在产品全局的角度,去考量产品的初衷,即这款产品做的目标是什么,从目标去拆分,才能更好的建立指标体系。
度量清楚产品效果就是要先站在更高的角度,聚焦该产品的目标,再结合目标,将度量的标准拆分至大盘贡献、功能评估以及护栏指标三个层次。
在保证用户体验的同时,从大到小的度量功能的效果,才能更全面的分析度量一个产品功能。
以上,就是本期分享。