背景
在构建版本质量评估体系时,我们深刻认识到深入分析多版本质量数据变化与实时掌握版本质量状况的重要性,然而,传统的人工操作方式不仅耗时费力,还难以保证数据的时效性和准确性。为此,我们创新性地搭建了版本质量平台,旨在通过自动化与智能化手段,显著提升统计效率,确保质量数据的精准捕捉与高效分析,为版本质量的持续优化提供坚实支撑。
版本质量蓝图
我们成功实现了版本阶段与版本质量数据的全面打通,通过精细化的数据处理与分析,产出了涵盖版本、阶段、团队等多个维度的质量指标统计。这一成果不仅为全面评估版本质量情况提供了坚实的数据支持,还有效保障了产品质量的稳步提升。
同时,我们为业务团队和相关部门提供了多版本、多团队集成以及灰度阶段的质量评估指标,这些指标详尽且具有高度针对性,能够助力团队深入剖析质量状况,快速定位问题根源,从而制定更加精准有效的质量改进策略。通过这一平台,我们实现了质量数据的透明化、可视化,为业务决策和团队协作提供了强有力的数据依据。
版本质量现状
主要有五个方面的进展,包括流程、平台能力、效率提升、质量提升、知识库沉淀。整体来说,版本质量提升专项已取得阶段性进展,所有结果均符合预期。这里注意,我们不单单是个做平台的!我们最终所做的一切都是为了线上质量的提升,这是我们想要拿到的结果。
1、建立客户端代码准入准出标准
基于版本各阶段的提供的质量保障的投入程度,明确版本的准入标准。从流程降低代码风险。建立版本新增问题的各阶段准出标准。降低版本线上问题遗漏。
2、工具平台能力建设
从数据度量方向增加版本质量报告,结合 移动 平台落地版本准出流程卡点。从 0 到 1 建设版本质量度量体系,成立 XX业务客户端保障专项,进行 XX 次平台能力迭代优化,最终搭建「需求测试报告」、「集成测试报告」、「灰度测试报告」、「发版报告」平台和卡点能力。
3、效率提升
替换原有人工统计的发版报告,每周节省 90min 。30min * 3,XX1、XX2、XX3三条业务线。而且,已替换原有人工统计的 发版报告,应用于渠道包的质量汇总及周知。
4、质量提升
过程质量:客户端准入准出流程执行后,集成阶段 P3 及以上级别 bug 闭环率逐步保持在100%,灰度回归问题闭环率保持在100%。灰度期间 MR 合入总数明显下降;二灰后合入 MR 数下降为 0。
线上质量:Q1 客户端故障因集成和灰度阶段合入代码出现 4 个故障,版本质量提升项目落实后,Q2 客户端因集成和灰度不合理合入导致的故障下降为 0。
发版节奏:辅助推动发版节奏变更。为了保障客户端版本稳定性,延长集成测试及一灰的时间,缩短二灰及三灰。促进整体发版周期缩短。
5、知识库沉淀
平台开发过程中,从前端、后端、移动端及使用手册等多个维度沉淀可复用知识 20 。
版本质量度量指标
基于 版本质量度量指标问卷结果 & 数据获取难易程度 & 质量度量指标的重要性等因素综合考虑
收益
效果
- 过程质量:客户端准入准出流程执行后,集成阶段 P3 及以上级别 bug 闭环率逐步保持在100%,灰度回归问题闭环率保持在100%。灰度期间 MR 合入总数明显下降;三灰合入 MR 数下降为 0。
- 线上质量:Q1 客户端故障因集成和灰度阶段合入代码出现 4 个故障,版本质量提升项目落实后,Q2 客户端因集成和灰度合入代码导致的故障下降为 0。
度量
- 建立统一的版本质量评估体系,以及 客户端代码准入准出标准,明确上车阶段、集成阶段、灰度阶段的标准和卡点。从回归任务执行、Bug 闭环、代码变更、线上问题跟进多个维度进行质量评估。
能力
- 从 0 到 1 建设 版本质量平台,成立 客户端质量保障虚拟专项组,进行 16 次平台能力迭代优化,最终搭建「需求测试报告」、「集成版本质量报告」、「灰度版本质量报告」、「发版质量报告」能力。