「经验」如何搭建“业务化”的指标体系?

2022-06-30 16:03:13 浏览数 (2)

预计阅读时间:10min

00

引言

为了更好的度量产品的健康度,如何搭建“业务化”的指标体系,相信是大多数数据分析同学都会接触到的问题,其中「业务化」「指标体系」是做好产品评估的两个重点。

「指标体系」是通过不同维度的观察角度,所形成的的有机统一、相对独立且能反映产品经营状况的一系列指标群。

「业务化」则要以业务为出发点去思考问题,这里我们总结一下业务在应用指标时的一些痛点,看看你有没有遇到:

  • 痛点1:指标名称和口径在不同业务报表中存在差异,用起来很乱。
  • 痛点2:指标太多,针对不同场景不知道用哪些来评估。
  • 痛点3:指标每日都在波动,不属于正常区间以内。

面对以上问题,我们需要一套体系化的评估方式将产品链路串联起来,从业务为出发点,设计指标体系,并将设计出来的指标体系有机的进行维护,最终回归到评估当中,形成闭环。核心:可度量、可拆解、可描述

下面结合我的工作场景,和大家分享如何搭建一套业务化的指标体系。

01

搭建指标体系的目的

在开始设计指标体系之前,作为数据同学,我们要明确指标体系搭建的目的,我认为目的主要可以划分为四个方向:

其一:指导数仓建设。假设我们以数仓建设为起始点,记录用户的行为数据,往往会遗漏很多重要的内容;反而当我们以指标体系为出发点设计数仓,能够清晰知晓哪些内容是需要记录、需要从上游ETL接入,更加完整的搭建数仓。

举例:当我们需要设计“人均检索时长”指标时,必然需要将用户的时间信息透传到下游当中。

其二:统一指标口径。指标在设计过程中,明确指标口径是非常重要的,相信不少同学在工作中有这样的同感,同样名称的指标在不同场景中的定位有偏差,导致使用方非常的混乱。

举例:某个内容的ctr,场景1=点击次数/页面pv,场景2=点击次数/展现次数。类似这种问题,是指标应用中的大忌。因此,需要根据经验以及与业务方的探讨,达成共识口径。

其三:衡量业务发展。指标建设的最终目的还是为了辅助产品迭代,而衡量业务的发展现状,则是指标体系应用的“防守方向”。所谓“防守方向”指的是让所有的业务同学清楚,我们现在的产品怎样,通过用户的行为数据,分析现阶段产品满足用户需求的情况如何。衍伸出来“异动分析”“多维监控”等相关内容。

其四:探索分析方向。与衡量业务发展相辅相成,探索分析方向则是产品改进的“进攻方向”。在充分了解现阶段产品的状态外,产品还需要增加哪些功能?吸引哪些用户?这些都是需要偏探索性的分析给予业务支持。

当我们明确指标体系目的之后,下面将着手设计指标体系,以下将从常规步骤及案例进行说明。

02

指标体系如何设计

指标设计方式有很多,根据不同业务有不同的设计理念,现阶段规范化设计方式常规有三种,大家可以参考:

第一种:GSM(Goals,Signals,Metrics),是Google提出的一种自上而下度量用户行为的方法,通常用于衡量产品优劣程度。

  • G目标:明确设计的目标是什么?为了达到的用户目标是什么?
  • S信号:当达到对应用户目标时,用户反馈出哪些行为?
  • M指标:根据用户反馈的信号设计对应指标。

第二种:HEART(Happiness,Engagement,Adoption,Retention,Task Success),同样是Google提出的,通常用于衡量用户体验质量程度。

  • Happiness愉悦度:用户产品体验如何?
  • Engagement参与度:用户消费深度如何?
  • Adoption接受度:用户对于功能的接受度如何?
  • Retention留存率:用户留存情况如何?
  • Task Success任务完成度:用户对产品价值的完成程度?

第三种:PULSE(Page view,Uptime,Latency,Seven days active user,Earning),通常用于衡量产品的整体表现。

  • Page view页面浏览:产品的页面使用情况如何?
  • Uptime正常运行时间:用户在产品的使用时间如何?
  • Latency延迟:APP打开时间延迟程度如何?
  • Seven days active user七日活跃用户数:用户对于产品的粘性程度如何?
  • Earning收益:用户在产品上的消费情况如何?

03

指标体系设计案例

下面举一个案例,谈谈我对指标体系设计的理解,我们以搜索引擎APP场景为例,需要搭建一个合理的指标体系,根据用户的行为特征,度量用户在APP上的应用情况。应用的理念,部分借鉴于GSM的方式,以用户的行为轨迹为链路,设计指标。

我们以用户的行为轨迹为启示,找到每个流程的目标。以一个用户为例:

步骤一:发起检索。用户最初进入搜索引擎APP,在首页搜索框发起检索。例如:搜索周杰伦。

指标设计:检索衡量用户使用量级情况。使用量级也是搜索场景最核心的指标内容,用以衡量APP用户水池的健康度。

指标涵盖:pv、uv、人均pv、人均query数等。

步骤二:查找结果。搜索引擎一页一般会展现10条左右的结果,用户需要在其中找到感兴趣的结果。例如:第一条结果中的周杰伦图片。

指标设计:用户在搜索引擎上搜索一个query之后,必然希望尽快的找到想要的结果,而不是需要下滑很多次才找到结果,因此这里着重衡量用户的检索效率。

指标涵盖:检索到首点时长、检索时长占比、首点位置、首点高度等。

步骤三:结果消费。用户在详情页进行预览消费,也是用户搜索的最初目的。例如:下载周杰伦图片。

指标设计:当用户发现一个感兴趣的结果标题时,会点击进去消费,这里主要衡量消费的强度情况。

指标涵盖:ctr、有点比、平均消费时长、首点消费时长等。

步骤四:深度查询/其他诉求。用户在首次消费之后,可能有两种可能性,其一:消费的结果没有满足用户需求,用户需要通过再次查找,找到合适的结果;其二:消费的结果满足了用户的诉求,但用户还有其他衍生的查询需求,因此还需要继续搜索。通过循环步骤三、四的内容,从而完成本次完整的查询目的。

指标设计:衡量用户在首次检索之后是否满足,主要衡量消费满意度。

指标涵盖:主动换query率、翻页率、pv尾点占比、session尾点占比(session:一段时间相同搜索意向的标识)等。

步骤五:离开APP。用户在完成了需求满足之后,会退出APP,至于是否还会回来,要看用户对于APP的粘性程度。

指标设计:衡量用户在完成本次检索之后,是否还会应用此APP,主要衡量用户粘性情况。

指标涵盖:人均启动APP次数、N日留存、N日内留存等。

以上是针对搜索场景设计指标的方式。当然,不同类型APP的设计方式会有所出入,但万变不离其宗,以上方式基本可以满足大多数的指标设计场景。

04

指标体系如何维护

当完成指标设计后,需要一个统一的方式来维护这些指标。其目的主要有两点:

目的一:指标定义唯一性。避免在不同的业务场景出现相同指标、不同算法的情况。

目的二:平台工具的串联。指标的落地必然少不了元数据平台,利用平台机制,将用户的设计、定义、维护、工具,融入至唯一的平台,形成相对机制化的管理。

建议大家重点关注及维护指标的七个内容:

内容1:指标分类。首先,我们需要对指标进行划分,从而分门别类的进行管理。指标分类可以从业务及性质的角度进行划分。

业务角度:以搜索场景为例,可以划分为流量型指标、查找效率指标、消费强度指标、消费满意度指标、用户活跃度指标等。

性质角度:可划分为原子指标(例如:pv)和派生指标(例如:搜索结果页pv、搜索中间页pv),派生指标=原子指标 时间周期 修饰词。

内容2:指标名称。指标名称是指标体系中必不可少的,这里的建议是:名称通俗易懂,不宜过长。

内容3:指标定义。用于说明指标的含义,需要清晰不模糊。举例:pv是结果页pv还是中间页pv。

内容4:指标公式。指标公式更多是指标定义的数学化表示,需要明确的标识。举例:ctr=点击次数/展现pv

内容5:指标作用。阐述设计这个指标的初衷是什么,用于衡量什么,以及指标的大小、正负的含义是什么。举例:换query比例(相同内容再次发起检索)用于衡量用户的满足情况,换query比例越大,则本页面满足情况越差,反之则越好。

内容6:使用场景。阐述哪些场景会用到这个指标。举例:pv在衡量检索规模的时候会应用到。

内容7:波动阈值。波动阈值主要在评估指标是否异常时有作用。举例:搜索人均检索时长通常在40s-50s范围内比较正常,如果某天指标徒增或者突降,则可能有所问题,可以辅助异动分析排查。

以上就是本期的内容分享,如果大家有其他的方式和经验,也欢迎在下方评论区留言讨论~~

END

【下期预告】指标体系是数据分析的“前菜”,当我们根据业务制定了北极星指标后,作为数据同学,会在日常对指标进行监控预警,也就是我们常说的「归因分析」。在「归因分析」中,如何快速的发现指标异常?如何高效的度量问题维度?如何量化的给出数据结论?静待下期分享~~

【作者简介】互联网大厂数据分析专家,本系列「经验」类文章,会和大家分享一些近些年从事数据分析工作的一些心得体会,希望能够帮助到同行的同学,同时也渴望和大家在此沟通探讨。

0 人点赞