八面玲珑-浅谈自动化测试

2019-11-19 22:22:44 浏览数 (1)

浅谈自动化

不断发掘自动化测试对各个团队的附加价值,这样才能得到来自四面八方的支持

没有将自动化加入项目过程的自动化都达不到预期的效果

UI自动化框架

把UI自动化框架设计成一个拼图性质的架构。把每个特性都设计成一个独立的部分,然后组装成UI自动化框架:

  • (appium/webdriver)底层操作封装特性
  • Page Object特性
  • 测试用例管理特性
  • 测试执行引擎特性
  • 测试报告管理特性
  • 测试数据管理特性
  • keyword特性

自动化原则:

  • 选择重点业务
  • 选择较稳定的版本业务
  • 目标是保证主要功能业务完整正常,而不是为了发现更多的bug
  • 并不能减少人力成本,主要作用是加快测试反馈,提高测试质量
  • 录制回放,关键字驱动,可视化等一般不是好的选择,因为他们会增加6.脚本维护的难度,增加维护成本
  • 任何增加维护成本的自动化工作都是在耍流氓

如何减少自动化维护成本?

  • 清晰、方便的日志查看
  • 清晰整洁的测试报告
  • 快速的脚本调试
  • 快速的错误定位方式:如截图、错误日志、录屏
  • 严格的脚本规范
  • 在策略上,脚本慢慢上,要非常稳定了才能上线到正式环境
  • 定时开展培训分享工作,提升大家的能力。写UI自动化不只是工作任务,更是自我提升的过程
  • 要有稳定的环境、稳定网络,可以进行网络监控、定时重启等等

UI自动化框架优化方案:(在不增加维护成本前提下)

  • UI自动化框架加入录屏模块
  • UI自动化框架加入接口请求报错模块
  • UI自动化框架加入接口流程对比模块
  • UI自动化框架加入用例成功率、用例增长率等图表展示度量模块
  • UI自动化框架加入web平台支持,如用例集管理,异步执行
  • UI自动化框架加入监控核心场景的性能,如网络、启动速度、内存消耗等
  • UI自动化框架加入报错时取内存快照、报错堆栈等信息
  • 自动化测试环境一键搭建部署

UI自动化脚本可分为3种:

  • 监控脚本,监控服务器是否正常,监控每个页面是否能正常显示
  • 主流程脚本,监控主流程是否能正常运行
  • 模块脚本,优先级较低,一般也是重点业务模块先做

已经实现自动化的模块可以不做手工测试了吗?

为了不做手工测试,就要多加很多验证点,特别是UI的验证点。验证点越多,就会导致自动化越不稳定,自动化的维护成本就会越高,

你对自动化的信心就会越低,自动化的成效也会越低。所以已经实现自动化的模块还是可能需要做手工测试。

那么自动化测试的意义何在呢?

  • 自动化用执行次数来增加价值,执行次数越多,自动化价值越大。比如执行5次刚好成本和价值等价,那么每多执行一次,自动化的价值就越多。
  • 特别是那些需要重复进行UI操作,比如适配测试,需要适配几十个机型,是自动化去执行好呢还是一个个的手工执行好呢。
  • 我们不使用自动化去保证UI的准确性,而是去进行逻辑功能的测试。比如QQ的登录功能,我们只要验证点击登录后打开了好友列表,就说明登录成功了。就是要怎么稳定怎么弄。
  • UI自动化主要作用是保证业务流程的贯通
  • UI自动化能够帮助我们确保不会出现一些死人的问题,比如登录不成功,页面打不开等等。

UI自动化公式:

自动化收益 = 有效迭代次数 x 手工测试成本

自动化成本 = 脚本创建成本 维护次数 x 维护调试成本 脚本失败次数 x 脚本排错成本

其他

  • 测试工具、框架和自动化测试脚本本身的质量是最需要保证的,需要对测试工具、框架做单元测试
  • 自动化可以模拟用户真实的场景,如让用户在一个页面等待10分钟或锁屏、解锁,该app是否还生存
  • 把手工用例与脚本生成的用例文档进行对比,提示当前有哪些用例需要维护
  • 在代码集成到主干之前或之后先执行自动化,只要用例失败(可以设阈值),则不能集成或回滚
  • 持续集成并不能消除bug,而是让它们非常容易被发现和修复
  • 自动化要集成到持续集成过程中,目的是加快测试反馈,降低测试引入、发现到修复之间的时间间隔
  • 速度是评估测试价值的最重要考虑因素之一

0 人点赞