eptest x优测:自动化测试的EPC之路

2021-01-15 10:10:06 浏览数 (1)

01

项目背景

eptest终端自动化测试平台是PCG内部为了推行EPC标准建立的共建项目,2019年7月正式启动。

经过评估,eptest对于底座服务要求的SLA等级非常高,需要保证用例100%的执行率,并对执行时间的强制要求。终端自动化整体链条想要保障SLA很困难,不只要考虑软件层面,机房硬件也面临严峻挑战。

优测作为整个共建项目的底座平台,提供两方面核心能力:

1、提供实验室机房能力输出,包括:终端设备自动化能力,平台级别的调度服务,统一openApi接口

2、提供DevOps测试工具:包括功能用例测试、性能测试、录制回放测试等EPC中的重要测试环节,并提供蓝盾插件,将整个优测底座服务融入DevOps环节,为EPC建设提供了更加灵活高效的终端测试服务。

02

项目难点和解决方案

难点一:如何保障用例执行过程的复杂需求和性能需求

  • 测试用例执行失败时,无法准确了解失败原因,导致测试重复,测试效率低
  • 用户在测试时,由于设备自动分配不当,导致用例执行完成后仍有多余设备等待任务完成,增加测试成本
  • 基于任务个数调度设备,导致设备分配不均匀,测试时长增加

解决方案:

1、用例池中加入用例设备执行历史,在不重复的机型上重试,准确判断失败原因,测试效率提升。

在用例池中加入了用例设备执行历史,对于执行失败的用例,不再下发给执行过的设备,从而保证了失败用例的换机重试。这样在发现用例失败后,根据不同设备上的执行情况,进一步判断失败是用例本身问题还是设备环境问题。

2、在用例消费完成以后,及时更新任务状态,减少多余设备支出

在设备执行完用例后,更新任务状态为“用例消费完毕”。在进行任务分配时,如果发现用例已经消费完毕,则不再为此任务分配设备,这样用例消费完毕的任务不必等待所有设备执行完毕,加快了任务执行速度。

3、将静态任务分配变为动态任务分配,设备得到了充分利用,节省测试时间

将静态任务分配改造为动态任务分配,在设备空闲时主动向服务器拉取任务,避免了因为无法预先知晓任务时间带来设备负载不均衡的问题,大幅提升了设备的利用率。

难点二:如何保障实验室机房硬件手机的稳定性

优测底座服务的核心,集中在实验室机房手机的稳定性上面,eptest对手机的掉线、断网、网速都有明确的要求。如何在现有机房实验室条件下,优化硬件并保证设备稳定性,成为一个严峻的挑战。

解决方案:

1 采用防火墙SLB、LVS等HA技术,保证了关键服务的高可用性

2 加入电量、USB连通性、网络连通性等各种监控告警功能

3 利用定时任务和智能硬件最大程度的进行运维自动化

4 运维团队提供了个性化的服务支持

难点三:如何全面统计和展示测试过程数据

作为商业上的合作项目,数据透明对于责任边界有重要的意义。团队成员在架构设计的过程,不止要考虑功能、性能等问题,还要考虑为关键节点做数据埋点和数据统计,以周报,月报等形式呈现,为eptest提供可视化数据能力。

03

自动化测试平台共建效果

1、2020年底,已有380 epc业务线接入优测真机调度平台,大连机房接入手机达到780 ,全国异地部署手机200 ;

2、2020年底,优测测试任务200 万次,测试用例执行数量达到2000万次,平均月用例增长率33.8%,用例执行成功率稳定在96%以上;

04

优测真机调度底座平台核心功能

1、高度灵活,可扩展的自动化调度框架

在和PCG共建过程中,优测提供高灵活、可扩展的架构,快速的应对高并发、高复杂度复杂需求,包括智能用例下发、高可用的终端设备调度、用例自动换机重试、用例VS手机高精度匹配测试等场景。

2、高效的扩容能力和开放能力

优测基于云原生理念,采用微服务架构设计整个服务体系,每一层次的服务均有多副本容灾,层次清晰,调用链明确,在业务突发、大批量涌入时,起到了关键性的保障作用。

峰值数据统计,日任务最高达到4万,月任务最高达到45万次,接入180余个试点业务,同时并发队列达到2万个任务无宕机。

在开放能力方面,优测提供了可以异地部署的client服务,帮助客户部署自己的手机,并接入平台管理,极大的方便了客户业务调试流程,数据统计显示,接入优测底座平台的异地部署手机已经达到130台以上。

近期热文

巧用腾讯问卷逻辑语言DSL,复杂问卷逻辑不再愁

【干货】腾讯微卡开放指南-让你的App、小程序拥有专属的电子卡能力

用“新”留住用户-活动运营革新之路

让我知道你在看

0 人点赞