关注并星标
从此不迷路
计算机视觉研究院
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
B. Wang, J. Zheng, and C. L. Philip Chen*, "A Survey on Masked Facial Detection Methods and Datasets for Fighting Against COVID-19", IEEE Transactions on Artificial Intelligence, Early Access, 2022.
计算机视觉研究院专栏
作者：Edison_G
新冠病毒自爆发以来持续给世界造成巨大挑战。为抗击新冠疫情，科技工作者开发了一系列基于人工智能技术的技术并将其应用在真实的场景中比如安全监控、疾病诊断、感染风险评估、新冠病人CT图片损害评估等。
01
摘要
新冠病毒自爆发以来持续给世界造成巨大挑战。为抗击新冠疫情，科技工作者开发了一系列基于人工智能技术的技术并将其应用在真实的场景中比如安全监控、疾病诊断、感染风险评估、新冠病人CT图片损害评估等。受新冠疫情影响，世界各地的人们出行必须要佩戴口罩，以减少感染的风险，这给安防监控带来了一系列挑战：新冠疫情以前，安防设备主要针对人脸检测，几乎没有考虑佩戴口罩的人脸检测。
本综述中，我们主要专注于近年来佩戴口罩检测的方法和相关的数据集。首先，我们从佩戴口罩检测的数据集着手，深度调研13个开源的数据集。其次，针对佩戴口罩检测的方法被粗略分成两大类：传统方法和基于神经网络的方法。
传统的方法通常提取hand-crafted特征，运用boosting系列算法训练模型，这类方法占的比例较小。
神经网络的方法根据处理阶段可分成3类：单阶段（端到端）方法，二阶段方法，多阶段方法。然后，针对每一类别方法，我们选择具有代表性的算法进行详细介绍。最后，我们总结了最具标志性的算法和效果，并对算法和数据集的有限性进行讨论，对该领域未来的研究方向进行了探讨。就佩戴口罩检测领域来说，本综述是较为全面的综述文献。期望我们的研究能够为世界抗击新冠病毒贡献一份力量。
02
影响分析
在新冠疫情期间，很多AI企业开发了针对佩戴口罩检测的技术，帮助检测人是否佩戴口罩和利用视觉技术进行远距离无接触测温。但是，该领域缺乏一个针对研究方法和数据集的系统综述文献，这也是我们研究的一个动力。在本综述文献中，我们调研了最近两年的佩戴口罩检测方法和数据集，并进行详细分析，希望能够帮助AI研究人员和企业工程师们快速开发更新相应的技术。本文给出了十个未来的研究方向，希望能够给初学者、研究人员、或AI工程师们提供参考，有助于他们开发出更高效的系统，合力抗疫。
03
概要
- 所选文献来源统计
我们通过诸多数据库检索文献比如Google Scholar, IEEEXplore, Elsevier, Springer, WebofScience, ResearchGate等等，关键词搜索为“masked face”, “face mask”, “masked facial”。我们对期刊和会议两类论文，按照发表作者所在国别或地区进行统计分析，如下所示，可以看出，中国在该领域发表的文章数目是最多的。
其次，我们按照时间进行分类，分别为2020年以前（新冠爆发以前），2020年，2021年1月-8月三个时间段进行统计分析，可以看出，2021年以来佩戴口罩检测的期刊和会议文献占比均超过60%。
然后，对于文献分类，我们采用层次方法，第一层按照所选特征，第二层按照方法执行所需阶段或检测子数目，如下所示：
- 数据集
数据集名称和链接如下表所示：
数据集名称和链接如下表所示：
数据集名称 | 链接 |
|---|---|
MAFA | https://drive.google.com/drive/folders/1nbtM1n0--iZ3VVbNGhocxbnBGhMau_OG |
MFDD | https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset |
MFNID | https://github.com/cabani/MaskedFace-Net |
Moxa3K | https://shitty-bots-inc.github.io/MOXA/index.html |
PWMFD | https://github.com/ethancvaa/Properly-Wearing-Masked-Detect-Dataset |
UFMD | https://github.com/iremeyiokur/COVID-19-Preventions-Control-System |
FMLD | https://github.com/borutb-fri/FMLD |
Dey’sDataset | https://github.com/chandrikadeb7/Face-Mask-Detection |
Singh’s Dataset | https://drive.google.com/drive/folders/1pAxEBmfYLoVtZQlBT3doxmesAO7n3ES1?usp=sharing |
WMD | https://github.com/BingshuCV/WMD |
AIZOO-Tech | https://github.com/AIZOOTech/FaceMaskDetection |
Kaggle | https://www.kaggle.com/andrewmvd/face-mask-detection |
SMFD | https://github.com/prajnasb/observations |
- 部分有代表性的方法
基于Hand-crafted的方法占据了一定比例，这里给出一个图示介绍：
因基于深度学习的方法较多，详细可参考论文，这里给出一些代表性的方法名称，Faster R-CNN, Context-Attention R-CNN, InceptionV3, MobileNet, SSD, YOLO, YOLOv2, YOLOv3, YOLOv4, YOLOv5, and others. 其中YOLO系列占比较多，是目前一个主流的研究热点。
- 讨论
当前数据集的一些限制
Ø部分数据集的图片数量非常小
Ø部分数据集只包含两类：佩戴口罩的人脸和不戴口罩的人脸
Ø缺乏佩戴口罩状态识别的大规模数据集
Ø有的数据集是模拟的（或算法合成的），跟真实场景有差距
Ø有的数据集涵盖了真实场景的和算法合成的图片
Ø部分数据集中的图片场景简单，类型单一
当前算法的一些限制
Ø部分算法仅检测是否佩戴口罩，没有针对佩戴口罩是否规范的状态分析
Ø对现有算法缺乏统一的评估方式，每个文献中提到的算法几乎都是在不同的平台中实现的
Ø当前算法的执行时间缺乏比较，这对于工程应用来说很重要
Ø很多文献没有说明训练模型的大小，这对移动设备和边缘设备计算来说很重要
Ø部分深度学习模型训练需大小一致的图片，强制改变图片分辨率会造成行人变形，减低检测性能
未来可能的研究方向分析
Ø创建类别更加平衡的数据集
Ø应用迁移学习技术进行佩戴口罩检测
Ø将预检测和验证结合
Ø考虑上下文信息
Ø探索轻量级模型并将其部署到移动设备或边缘设备上
Ø处理多尺寸多分辨率图片
Ø口罩遮挡区域的人脸重建
Ø佩戴口罩人脸识别
Ø佩戴口罩人脸和其他生物特征结合的多模态身份识别
Ø佩戴口罩的人脸关键点校准
佩戴口罩检测的一些应用
最后，向抗击新冠病毒的医疗工作者们致敬!
图片来源：最美，是你們口罩後的笑顏
http://big5.news.cn/gate/big5/www.xinhuanet.com/photo/2020-03/22/c_1125750098_2.htm
作者：
王兵书 西北工业大学软件学院
郑江滨 西北工业大学软件学院
陈俊龙 华南理工大学计算机科学与工程学院
© THE END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
计算机视觉研究院主要涉及深度学习领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架，我们这次改革不同点就是，我们要着重”研究“。之后我们会针对相应领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
扫码关注
计算机视觉研究院
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
往期推荐
