写在前面
最近两天，公司有个PC客户端的测试任务，除了最基础的功能测试外，还包括稳定性测试和兼容性测试需求。刚好去年接触过Sikuli这款基于GUI图像识别框架的自动化测试工具，于是便应用于测试工作中，辅助测试任务。初步试用下来，总体效果还算差强人意，也间接助我发现了一个致命级别的大bug（后续会介绍）。
一、GUI图像识别框架元祖：Sikuli
Sikuli 创始于 2009 年，是麻省理工学院用户界面设计小组的一个开源研究项目。2012 年由 RaiMan 接管开发和 支持并将其命名为 SikuliX。它以图像检索技术为基础，提供了一套基于 Jython 的脚本语言以及集成开发环境。使用者可利用屏幕截图直接 引用 GUI 元素进行编程，完成交互操作。Sikuli 一词取自墨西哥的土著语，意为“上帝之眼”，寓意—— Sikuli 让电脑能像人一样”看”这个”真实世 界”。官网：http://www.sikulix.com/
SikuliX支持作为脚本语言：
- Python 语言级别 2.7（由Jython支持）
- 支持运行RobotFramework文本脚本
- Ruby 语言级别 1.9 和 2.0（由JRuby支持）
- JavaScript（受 Java 脚本引擎支持）
SikuliX的常见用途：
- 应用程序或网页的日常自动化任务
- 玩游戏
- IT系统和网络的管理
二、Sikuli运行原理
http://doc.sikuli.org/devs/system-design.html#sikuli-ide
三、Sikuli安装
Sikuli 支持跨平台运行，可以运行在Mac OS X、Windows 和 Linux 系统下。下载地址：https://launchpad.net/sikuli/ download或者官网：http://sikulix.com/
推荐安装x1.0-rc3（需要依赖JDK1.6版本）
四、Sikuli IDE主界面基本使用
Sikuli1.x版本官方文档：http://doc.sikuli.org/
- 左侧为常用函数，包括查找、鼠标动作、键盘动作等
- 点击元素的图片可以调节识别的偏移度、匹配的精度
- sikuli脚本首次保存会提示并弹出保存路径，可自定义保存路径
- 脚本也可以导出为exe格式的可执行文件
- 一个脚本对应一个目录，目录中对应脚本中的图标截图、python脚本
五、Sikuli 脚本语法
Sikuli 的脚本编写遵循 Python 语法规范，其本身提供了多种自定义类及其自定义方法。由于 Sikuli 基于 Jython，其核心代码由 Java 编写，可在用户自定义的 Java 工程中将其作为 Java 标准类库进行
- 定位APP窗口：myApp.window()
- 聚焦到当前APP：myApp.focus()
- 判断元素是否存在：exists()
- 点击某个元素或图标：click()
- 输入文本内容：type("hello world")
- 按下键盘按键：type(Key.ENTER) 按键名要大写
六、Sikuli 应用示例
PC客户端的自动循环发送消息的脚本示例：
代码语言：javascript复制import time
import random
myApp=App("yueyun-im") # 声明APP实例
if not myApp.window(): # 判断当前是否处于APP窗口
openApp("D:\yueyun-im\yueyun-im.exe") # 如果不处于APP窗口，则打开指定位置EXE
myApp.focus() # 聚焦于APP
if exists("K7iX.png"): # 判断图标是否存在
click("K7iX.png") # 点击指定图标按钮
if not exists("1655945972853.png"):
click("1655946081065.png")
click("1655945972853.png")
#while 'p' in 'python':
for i in range(10):
type("TEST-SIKULI-MSG-" str(i))
time.sleep(0.2) # 休眠3秒
#click("1655946081065.png")
type(Key.ENTER) # 按下键盘的ENTER键，按键名要大写
type(Key.ENTER)
myApp.close() # 关闭APP七、Sikuli 优势及局限
1.优势
① 学习成本低，只需掌握简单的python语法就能快速上手；
② 无需关注元素有哪些属性，所见即所得；
③ 适合非标准控件等自定义界面的定位，如游戏界面；
④ 支持跨平台，如：Windows、Linux、macOS；
2.局限
① 基于图像识别，图片的大小、分辨率、色彩都会对识别造成影响，定位不能百分百准确地识别到元素；
② 只能定位当前正在操作的窗口界面；
③ 若流程过长，则会造成脚本过于臃肿；
④ 图片存在相似度，会对识别造成影响，需要手动一一调整图片的精度；
Sikuli 使用小结
- 尽管sikuli用来实现复杂的测试场景不太现实，这也是所有GUI自动化测试无法改变的现实。但用来做一些特定场景的测试还是游刃有余，比如：
① 循环、持续发送消息，7*24h运行，以检测程序运行稳定性；
② 持续发送图片或视频文件，以检测程序连续上传、下载文件稳定性；
③ 在不同的PC系统版本上运行，以检测程序的兼容性；
- 对于web自动化、APP自动化主要用该端特定的自动化框架，如selenium、appium，sikuli作为辅助、可以和selenium等结合使用；
- 对于特定的、复杂的场景，如游戏界面、flash应用等难以识别到元素的应用界面，可以使用sikuli；
- 今天在测试场景②的过程中也发现了一个bug：【当前聊天窗口，持续下载图片过程中，程序闪退】。虽然说这个bug是sikuli测出来的bug有些牵强（本身自动化测试也不是用来发现bug的），但sikuli绝对是出了很大一份力。只要能合理地利用，任何不起眼的工具都可以发挥它的价值！
