上个系列给大家分享了基于白盒测试的质量保障体系,相信大家对如何高效保障产品质量都有了一些想法。
不过质量没问题了,只是代表着这个产品能用,随着时代的发展各种产品越来越多,用户的选择也越多,只是能用已经很难吸引用户了,我们需要打造优秀的品质,让用户觉得好用。
所以我们也将开启第二个系列,讲讲如何进行评测,尽早发现品质问题并为优化方向提供建议。
1 为什么要做品质评测
前言部分已经讲了品质的重要性,那么评测的意义具体何在呢?
这里可以从问题发现的方式来说,有以下三种:
1. 用户反馈:这个方案的好处是简单直接,但缺点也明显就是时间太晚。据我们统计,出了问题用户反馈的概率大概是万分之一,等到有用户反馈时才发现问题,对产品的口碑影响较大,一些严重问题甚至会关系到生死存亡。当然也不是用户反馈的监控不重要,这是最后一道关卡一定要做好,但只有这个是不够的。
2. 线上监控:这个方案相对用户反馈能敏感许多,在产品发布初期就能发现问题。但还是会有用户感知,一些严重或者不好修复的问题仍然会影响到用户口碑。同样这块也是必不可少,只不过对于一些核心问题我们还需要发现的更早。
3. 线下评测:评测能够在上线前就发现问题,理论上是最佳的选择。不过评测往往需要跑大量数据进行分析,难度很大成本较高,建议重点关注核心部分。
综上,评测的意义就是在上线之前发现产品核心品质的问题。
2 什么是好的品质评测系统
●什么是评测这里就不再讲了,大家可以自己去搜搜资料。这里重点想强调下一个好的评测系统应该具有哪些因素:
1. 准确:这是最核心的,评测出来的趋势要和线上一致,否则就不能发现问题没有意义了。
2. 高效:这里不是一味地强调效率,但往往想要得到一个准确的评测结果都需要跑大量的数据,如果不能在上线前跑完也就没有意义了,这里会对我们的系统有一定的效率要求。
3. 直观:结果必须直观,我们评测可能会跑各种场景,得到很多指标数据,这些数据变化趋势往往不尽相同。如果不能把大量的指标数据合并成几个大的宏观维度的直观结果,对于核心指标的变化趋势也就无从预测了。
3 搭建好的品质评测系统
前面讲了什么是好的品质评测系统,那要怎么搭建呢?参照我们的经验,主要有5个部分:
1. 评测体系
2. 数据挖掘处理平台
3. 评测执行工具
4. 任务分发管理平台
5. 结果分析展示平台
由于这块内容较多,后续由其他同学结合我们工作中的实际案例给大家进行分享。