最近在做一个工业巡检的项目,主要涉及的内容是指针型表计的读取。本系列文章主要介绍实现表计读取的全流程开发(立个FLAG,想想真是肝...留下了不争气的眼泪),其中主要使用的工具为百度开发的PaddleX和Visual studio 2019。
ps:公众号上没办法插入超链接,如果有需要请大家点击阅读原文,查看在知乎上发布的文章。
一般来讲,在工业领域使用深度学习技术来实施的项目主要为工业质检和工业巡检两部分,实现这两部分的流程均为:
本系列文章的内容包含了上述流程的全部内容,其目录如下:
- 高效语义分割:基于PaddleX零代码快速实现表计分割
- 工业场景适配:Windows下PaddleX的C 编译并生成dll
- 表计读取实战:基于C#的识别界面开发和dll文件调用
正文开始前再说一句,各位兄弟姐妹快去GitHub给paddleX点star啊。点star,不白嫖!
链接如下:https://github.com/PaddlePaddle/PaddleX
正文开始:
一、高效语义分割:基于PaddleX零代码快速实现表计分割
本文目录
- PaddleX是什么
- 如何使用PaddleX实现压力表的语义分割
- 小结及下节预告
1. PaddleX是什么
在PaddleX的官网上有其详细的介绍,我这里把它们摘录出来:
PaddleX是百度基于飞桨开发的一款全流程开发套件,以低代码、甚至零代码的形式支持开发者快速实现产业实际项目落地。
PaddleX中集成了飞桨智能视觉领域图像分类、目标检测、语义分割、实例分割任务能力,将深度学习开发全流程从数据准备、模型训练与优化到多端部署端到端打通,并提供统一任务API接口及图形化开发界面Demo。开发者无需分别安装不同套件,以低代码的形式即可快速完成飞桨全流程开发。
PaddleX 经过质检、安防、巡检、遥感、零售、医疗等十多个行业实际应用场景验证,沉淀产业实际经验,并提供丰富的案例实践教程,全程助力开发者产业实践落地。
一句话概括优势:极大降低开发成本、缩短开发周期、降低开发难度
工业党们最在意的效率和成本,PaddleX都解决了。
PaddleX提供了两种开发模型:python开发模式和Padlde GUI模式
(1)python模式:python模式与我们平时比较熟悉的深度学习开发模式差不多,不过paddleX提供了众多简洁、全面、集成度较高的API,这使得我们仅仅需要非常少量的的代码量,就可以实现图像分类、检测、分割等任务。
(2)丧心病狂的Padlde GUI模式:当我第一次看到GUI模式的时候,我就知道,调参党的日子要不好过了,以及工业党的福利来了。之所以这么说,是因为使用PaddleX GUI版本,零代码就可以实现数据准备、模型训练、模型调优、模型部署全流程的开发。并且,这款工具竟然是免费的。
如下图所示,GUI模式将深度学习开发中的调参转化为点选式的选择,无需代码就可以便捷、高效地调整模型类型、backbone、模型参数和训练参数。相信经过做项目验证、做方案的工业党们都明白这意味着什么。从我的经验来看,使用PaddleX GUI模式,能够改进低效流程,将项目验证的效率提升10倍以上,极大缩短开发周期。
2. 如何使用PaddleX实现压力表的语义分割
废话不多说,下面将以压力表的语义分割为例,边介绍边实战。
百度也提供了官方使用教程文档,链接为:
https://paddlex.readthedocs.io/zh_CN/develop/gui/how_to_use.html
与命令行模式的深度学习开发类似,使用PaddleX GUI模式完成压力表的语义分割也需要按照以下的流程进行。
(1)数据准备
在安装完PaddleX之后,打开软件。①首先选择数据集管理;②然后点击新建数据集,创建语义分割数据集。
点击创建数据集后,①首先按照数据集导入规则,将原始图像和标注图像分别放在JPEGImages和Annotations文件夹中;②然后选择数据集路径,确认导入。这里需要注意一下,labelme标注出的分割标注格式为json文件,需要首先转换为label.png文件(要注意自己的标注是一个标签还是多标签)。③导入后,将数据集切分为训练集、验证集和测试集。一般按照默认比例即可。
(2)创建项目进行模型训练
点击我的项目,新建语义分割项目后,进入到项目开发界面。
①数据选择:选择数据准备中创建的压力表数据集。
②参数配置:在参数配置中,大家可以根据自己的需求来配置。我所使用的模型为DeepLabv3 该模型在语义分割有更好的效果。backbone选择MobileNetV2_x0.5。迭代轮数为200,学习率0.005,batch size为1(为控制训练中的振荡幅度,学习率和batch size要 相匹配的调整,减小batch size一般需等倍数减小学习率)。
③训练过程中的模型可视化:通过PaddleX界面查看看到当前的训练轮数,训练集损失值和验证集的各项参数。除此之外,PaddleX中集成了Visual DL,可以查看模型训练过程参数变化、日志详情,及当前最优的训练集和验证集训练指标。
④模型裁剪:训练结束后,可选择进入模型裁剪,也可直接进行模型评估。
(3)模型评估
①参数评估:在模型评估页面,可查看训练后的模型效果。评估方法包括混淆矩阵、精度、召回率等。
②分割测试:可以更加直观地进行测试集图片测试,或者单张图片测试,来评估模型的性能。并可将训练后的模型保存为预训练模型。
我们来看一下使用PaddleX训练后,压力表分割的效果:
放大之后:
本次训练仅使用了60多张压力表的图像数据,数据量比较小。但是可以看出,最终实现的分割效果还是相当不错的。
(4)模型发布
①在得到一个性能较好的模型后,我们最终的目的是将模型部署至服务器端或者移动端。在做工业质检或巡检时,我们一般都部署在服务器端。
②发布的文件主要有两部分:推理代码和模型,模型保存在inference_model文件夹内,在使用时,我们只需要加载该模型即可。
发布的文件
3. 小结及下节预告
总结:在本文中,我介绍了一款非常好用的深度学习软件PaddleX,特别以压力表分割为例,阐述了PaddleX GUI模式的使用方法。这一部分的内容比较简单,欢迎大家下载该软件,亲自动手试一试。下载链接:
https://www.paddlepaddle.org.cn/paddlex/userinfo
下节预告:在工业应用中,生成一个性能不错的模型只是第一步。由于工业场景需要使用C#开发界面,因此需要将该模型转换成C#可调用的dll,下节将介绍如何将飞桨的C 预测代码生成为Visual Studio下的解决方案,以及最关键的,如何将C 预测代码生成为可调用的动态链接库dll,打通真正可以工业实战的开发流程。
都看到这里了,还不点个赞,关注一下,谢谢大家!
最后,再一次欢迎大家给这款好用的工具点个star!
star链接:
https://github.com/PaddlePaddle/PaddleX