腾讯提出一种高精度双分支人脸检测器DSFD并开源。该算法曾在全球两大权威人脸检测数据集WIDERFACE和FDDB上均取得了第一。
任务介绍
人脸检测算法是在图像上检测出人脸的位置(通常以矩形框形式输出),是人脸配准、人脸属性识别、人脸核身、人脸检索等技术的基础。随着人工智能行业的发展,人脸相关技术在社交娱乐、智慧零售、互联网金融等领域得到了越来越广泛的应用,同时也对人脸检测技术提出了更多的挑战。由于场景不受控、人员非配合,人脸往往受到逆光、遮挡、模糊、姿态、尺度等因素的干扰,因此研发效果更优异的人脸检测算法具有重要意义。
多种场景下的人脸检测示意图
算法设计
此次提出的DSFD人脸检测算法,主要有3点创新: (1)设计了一种新的“特征增强”模块(FEM:Feature Enhance Module)。FEM在采用Top-Down层间信息融合的同时,在同一“感受野”内做了更多的enhancement。因此在width and depth上学习到了更有效的context和semantic信息。
(2)提出了“分层锚点渐进”式的代价函数监督(PAL:Progressive AnchorLoss)。模型采用2个层级(hierarchy),基于第一层(low-level)和第二层(high-level)的差异性,适配了不同尺寸的anchor。在训练过程中,PAL对整个模型形成了更有效的监督。
(3)设计了一种“改进的锚点匹配策略”(Improved Anchor Matching Strategy)。One-stage detector由于在输出层分配有密集的anchor,anchor与face匹配的好坏直接影响训练效果。优图的研究人员data augmentation过程中充分考虑了不同大小的face和各个anchor的关系,提出了一种新的数据扩增法。
DSFD算法的整体框架主要包括三个部分:特征增强模块(FEM),分层锚点渐进式的代价函数(PAL),改进的锚点匹配策略(IAM)。
DSFD算法框架图
评测结果
WIDERFACE数据集分为Validation和Test两个评估集,每个集合中的数据根据人脸检测的难易程度分为Easy、Medium、Hard。我们的DSFD(图中Ours)在Validation和Test的三种评估模式上均取得了Top1。Validation上的评估结果如下(图中数字表示mAP指标),我们的算法效果为easy:0.966, medium:0.957,hard:0.904。Test上的评估结果如下,其中easy:0.960,medium:0.953,hard:0.900。
DSFD算法在WIDERFACE榜单的结果
根据FDDB数据集召回率的计算方式不同,可以分为Discrete和Continuous两种评估方式,图中横轴为Falsepositives(误检数量),纵轴为Truepositive rate(召回率)。我们的DSFD在两种评估方式上均取得了Top-1,如下图所示。
DSFD算法在FDDB榜单的结果
DSFD算法在WIDERFACE数据集上的可视化结果
据悉,该算法投稿的论文《DSFD: Dual Shot Face Detector》已被国际人工智能顶级会议CVPR2019接收。
业务落地
目前,优图的人脸检测技术已经应用于公司内外的多个业务中。为赋能各个行业发挥了重要作用。下面选择一些典型案例作简要介绍。智慧零售-腾讯优Mall:优Mall是优图实验室为智慧零售推出的解决方案,该方案可以使商家为客户提供个性化服务,实时客流统计、客群精准营销等,从而为实体经济的发展注入新的活力。智慧娱乐:微视、手机QQ人脸特效,基于人脸检测技术,这些产品不断推出基于一些人脸特效,美颜美妆等娱乐玩法。
持续开源
自2017年,腾讯开始加快对外开源节奏,主要覆盖AI、云、游戏、安全、小程序等相关领域,其中计算机视觉技术的开源也是其重要一环。与DSFD一并开源的还有OneStageDet(OSD)项目,该项目是基于单阶段的通用目标检测器。2017年7月,腾讯优图首个AI开源项目NCNN开源,2019年至今已有人脸检测、属性等5项技术开源。腾讯优图将不断研究和探索,通过开源更多新技术为产业发展提供助力。
DSFD 开源地址
https://github.com/Tencent/FaceDetection-DSFD
OneStageDet 开源地址
https://github.com/Tencent/ObjectDetection-OneStageDet
(点击文末阅读原文直接访问)
请给项目 一个 Star !
欢迎提出你的 issue 和 PR!
国内镜像地址:
https://git.code.tencent.com/Tencent_Open_Source/FaceDetection-DSFD
https://git.code.tencent.com/Tencent_Open_Source/ObjectDetection-OneStageDet
(登录后才能访问公开项目)
腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像