导读
作者单位：上海大学, 京东AI研究院
本文全面介绍了端到端深度学习人脸识别技术，包括人脸检测，人脸预处理和人脸 表征等方向，详细介绍了最新的算法设计，评估指标，数据集，性能比较等。
论文链接：https://arxiv.org/abs/2009.13290
为了方便下载可以通过下面的链接下载：
链接: https://pan.baidu.com/s/1Pqmoa9F1F4Oec2yZiJW96A
提取码: aicv
摘要
人脸识别是计算机视觉领域中最基本、最悠久的研究课题之一。随着深度卷积神经网络和大规模数据集的发展，基于深度学习的人脸识别应运而生识别技术已经取得了显著的进展，并在实际应用中得到了广泛的应用。给定一个以自然图像或视频帧为输入，端到端人脸识别系统能输出人脸特征用于识别。
为了做到这一点，整个系统一般由三个关键要素构成：人脸检测（face detection）、人脸预处理（face preprocess），人脸表征（face representation）。人脸检测定位图像或视频帧中的人脸。然后，人脸预处理是进行人脸标定到一个规范的视角并将他们裁剪到一个标准化像素大小。最后，在人脸表征阶段，从预处理后的图像中提取具有鉴别性的特征用于识别。这三个要素都是由深度卷积神经网络实现的。在本文深度人脸识别中端到端的各个要素的最新进展进行了全面综述，自深度学习技术的蓬勃发展以来，大大提高了人脸识别的能力。首先，我们介绍端到端深度人脸识别的概述，如上所述包括人脸检测、人脸预处理和人脸表征。然后，对深度学习进行了回顾基于各要素的发展，包括最新的算法设计等多方面，评估指标，数据集，性能比较，现有的挑战，和未来有前途的方向研究。我们希望这个调查能带来有益的想法，以更好地理解大局端到端人脸识别系统的深入探索。
1、简介
图 1 2013-2020 人脸检测，人脸预处理，人脸表征相关的论文发表论文数量
表 1 近20年人脸综述
对每个要素的回顾包括许多方面: 算法设计，评估指标，数据集，性能比较，剩下的挑战，以及未来研究的发展方向。我们希望这次调查能带来一些有益的想法，为了更好的理解端到端人脸识别的大图和更深层次。
本文的主要贡献：
- 我们提供了端到端的的人脸识别的最新进展的全面调查包括人脸检测、人脸预处理、人脸表征。
- 我们从算法设计、评价指标、数据集，性能比较等。
- 我们进一步收集了每个组成存在的挑战和有前景的方向，以促进未来的研究，并从整体框架的观点讨论未来的趋势。
图 2 标准的端到端的人脸识别系统
首先，人脸检测阶段的目标是定位输入图像上的人脸区域。然后，进行人脸预处理，将检测到的人脸归一化为标准视图。最后，人脸表示致力于提取判别特征用于人脸识别。
2、OVERVIEW
2.1 Face Detection
给定一幅输入图像，人脸检测的目标是找到图像中所有的人脸，并给出所有人脸的包围框的坐标和置信度得分。人脸检测的主要挑战包括变化的分辨率、比例、姿态、光照、遮挡等。传统的方法侧重于设计手工制作的特征来区分人脸和背景区域。
2.2 Face Preprocessing
在第二阶段，人脸预处理的目标是将检测到的人脸标定为一个规范的视图(即人脸对齐或正面化)，这是提高人脸识别端到端性能的必要步骤。
通常，人脸对齐利用空间变换技术将人脸校准为标准化视图。在现有的人脸对齐方法中，人脸landmark或所谓的人脸关键点(如图3所示)是必不可少的，因为它们是进行相似变换或仿射变换的参考。因此，人脸关键点定位是人脸对齐的先决条件。
基于深度学习的人脸landmark定位方法可以分为三种：coordinate regression based approaches, heatmap regression based approaches and 3D model fitting based approaches
2.3 Face Representation
人脸表征致力于学习深度人脸模型，利用深度人脸模型从预处理的人脸中提取特征进行识别。这些特征用于计算匹配人脸的相似度
我们回顾了学习人脸特征的两个重要方面网络架构和监督训练的一些方法。对于网络架构结构，我们介绍了一般设计用于广泛的计算机视觉任务的网络架构结构，以及专门用于人脸表征特殊的架构。
在监督训练方面，我们主要介绍四种方案，包括分类、特征嵌入、混合和半监督等方案。具体地说，分类方案将人脸表征学习视为一个分类问题（即一个ID被认为是一个类)，它通常使用softmax loss及其变体作为监督训练。特征嵌入方案通过不同样本之间的优化距离来学习人脸表征。混合方案是指综合使用训练深度人脸模型的分类和特征嵌入。这三个方案侧重于监督训练。最近，深度半监督人脸表征学习中增加注意力，因为它们可以通过使用大量未标记人脸，来提高人脸表征的学习。此外，我们还展示了几个具体的人脸识别场景，包括跨域、少样本学习和基于视频的场景。
3、人脸检测
3.1 Categorization of Face Detection
图 4 人脸检测方法发展。
蓝色和灰色分别代表多阶段和单阶段方法;按anchor的使用方法，矩形、椭圆形、菱形分别为anchor-based、anchor-free及其他方法。对于这些方法的引用，可以参考表2。
3.2 Evaluation Metrics and Datasets
Challenges and Future Work
挑战：
Running efficiency
Image variations
有前景的研究方向
Effective and unified anchor settings
Anchor-free face detection framework
More efficient detection framework
4、人脸预处理
4.1 Landmark-based Face Alignment
图 7 具有代表性的人脸预处理方法的发展。橙色，蓝色，绿色，黄色灰色代表坐标回归、热图回归、三维模型拟合、landmark-free人脸对齐方法和正面化。对于这些方法的引用，可以参考表5。
Challenges and Future Work
挑战：
Facial Variations
Runtime efficiency
The annotation ambiguity
The annotation granularity
High-fidelity face frontalization
有前景的研究方向
High-fidelity face frontalization
High robustness and efficiency
Dense landmark localization
Video-based landmark localization
Semi-supervised landmark localization:
High-fidelity face frontalization and its metrics
5、人脸表征
5.1 Network Architectures
图14 监督训练用于人脸表征学习的发展。橙色、绿色、灰色和蓝色分别代表分类，特征嵌入、混合和半监督学习方法。
Challenges and Future Work
挑战
Under limited conditions
Surveillance video face recognition
Label noise
Imbalance data
有前景的研究方向
Lightweight face recognition
Robustness to variations in video:
Noisy label learning
Cross domain face recognition
Learning with imbalance data:
Learning with unlabeled faces
代码语言：javascript复制下载1：何恺明顶会分享
在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2：leetcode 开源书
在「AI算法与图像处理」公众号后台回复：leetcode，即可下载。每题都 runtime beats 100% 的开源好书，你值得拥有！
下载3 CVPR2020
在「AI算法与图像处理」公众号后台回复：CVPR2020，即可下载1467篇CVPR 2020论文个人微信（如果没有备注不拉群！）请注明：地区 学校/企业 研究方向 昵称
觉得不错就点亮在看吧
